Hi Ayom

Ich weiss nicht wie es bei euch steht, aber ich denke der Slurp von Yahoo hat zu niedrige Frequenzen und zu hohe Spiderzeiten. Dass heisst er kommt zwar regelmässig, aber er spidert wie ein Verrückter...

Im Gegensatz zu Google, die einen Bot vorrausschicken (den Neuen) um die Seite mal genau unter die Lupe zu nehmen, was dann auch zur Folge hat, dass der Googlebot versteht (in etwa ;-) wo der Content liegt, und welche Seiten er spidern muss und welche nicht (?track=234&do=234). Yahoo hingegen ist von einem so intelligenten Bot noch meilenweit entfernt und spidert einfach alles. In meinen Augen sollte er noch öfters vobeikommen und dann weniger intensiv spidern. Es ist zwar nicht so, dass der Server kollabiert, aber die Last zu verteilen ist in meinen Augen immer sinnvoll.

Lange rede kurzer Sinn und faszinierende Ergebnisse: http://www.google.com/search?hl=de&c2coff=...&btnG=Suche&lr= -> http://help.yahoo.com/help/uk/ysearch/slurp/slurp-03.html

Wow das ist mir neu! Yahoo war so frei die robots.txt um eine Funktion zu erweitern:

Bedeutet, dass der Slurp zwischen 2 Request immer 20 Sekunden versteichen lassen muss. Zwar Symtombekämpfung, aber m.E. trotzdem nicht das dümmste.

Alles findet zu Yahoo Help findet man hier: http://help.yahoo.com/help/uk/ysearch/index.html

alain

hier gibts übrigens noch Tipps für Webmaster im Bezug auf die gefrässigkeit von Slurp.

Gruss Sandro

kann ich nur bestätigen ...

yahoo msn dann google was das spidern angeht ...

viele grüße

Ist bei mir dasselbe. Fatal finde ich vorallem nach wie vor, dass er immernoch uralte Seiten (älter als ein Jahr) spidern möchte. Ich stellte auch schon mehrmals fest, dass er Seiten spidern wollte, die noch gar nie (auch nur ansatzweise) existierten...

Das bringt mich auch zum Schluss, dass Slurp einfach spidert, soviel er kann, egal wie und was.

Ich hoffe schon lange, dass dies bessert (vorallem die alten oder nie existenten Seiten), aber bis jetzt leider nicht.

edit: gerade mal logs meiner ganz neuen domain geguckt da ist google
mal am schnellsten und wildesten gewesen ... dann kommt yahoo und als letzes msn ... komisch ....

Der Yahoo Bot ist bei mir nicht sehr gefräßig. Er hat seit Monatsbeginn nur 12.000 Zugriffe verursacht - Google hingegen 280.000! Der MSN Bot lässt sich gar nicht blicken.