Hallo,

http://willhaben.at/robots.txt

da steht in den obersten Zeilen :

Heisst das dass nur msn und google duerfen und ich nicht?
Wie schauts da rechtlich aus?

PS: Ich scnan sowieso nur selten drueber,....aber trotzdem,....also mit einem selbstprogrammiertem SUchbot

Bedeutet, nur MSN, Yahoo und Google dürfen, ale anderen nicht.

User-agent: *
Disallow: /

Sperrt erstmal alle Bots, für alle Verichnisse (also die ganze Domain).

User-agent: Googlebot
Allow: /
Disallow: /iad/admin/

Damit wird dem Googlebot wieder erlaubt, auf alle Verzeichnisse der Domain zuzugreifen bis auf /iad/admin/.


Gruß TTlong

Wo soll denn da rechtlich ein Problem auftreten? Ich sage ja nur, das Bots wie Google etc. diese Seite nicht spidern dürfen mehr sagt solch eine Einstellung ja nicht aus.

aber mein eigener bot darf auch nicht

Falsch! Sie sollten diese Verzeichnisse und Dateien nicht spidern bzw. in ihren Index aufnehmen. Es muss sich aber niemand daran halten.

Rechtliche Probleme sehe ich da keine, selbst wenn spiderst obwohl du laut robots.txt draussen bleiben solltest.