Hallo zusammen

Seit Tagen habe ich das Problem, dass Yahoo Crawler meine Seite durchstöbert.

Ich habe auf der einen Webpräsenz soviel Zugriffe, dass an einem Tag soviel Traffic zusammen kommt wie sonst höchstens im Monat. ( 1GB pro Tag)

Habt ihr ähnliche Erfahrung?

Gibt es eine Möglichkeit den Crawler auszusperren?
An die robots.txt hält sich der Crawler eh nicht.

via htacces habe ich den kompletten 74 IP Block gesperrt, was natürlich unter dem Strich auch nicht das ist was ich wollte.

Tipps? Tricks Erfahrungen?

Gruss

Rolf

Wenn aussperren, dann an Hand des Useragents.

Yahoo Crawl Delay
AskJeeves verdoppelt meinen Traffic

Es gibt noch mehr Themen, aber die hab ich auf Anhieb nicht gefunden.
Siehe auch: http://help.yahoo.com/l/us/yahoo/search/we...r/slurp-03.html

Danke Alain

Wer mir diese Beiträge mal alle durchlesen.

Gruss

Rolf