Hallo !

In letzter Zeit habe ich bei einer meiner Seiten ein recht aufdringliches Verhalten vom AskJeeves-Crawler festgestellt. Die Anzahl der Seiten die er abruft steigt ständig an. Letzten Monat waren es ca. 180.000 , diesen Monat sind es schon 250.000 und es ist gerade mal der 15. des Monats.

Damit erzeugt der Crawler rund 52% des gesamten Traffics der Seite.

Zum Vergleich, Aufrufe pro Monat
google: ca. 25.000
picsearch: ca. 22.000
Gigablast: ca. 17.000
Yahoo: ca. 17.000
MSN: ca. 7.000

Also ist AskJeves nun 10 mal so gründlich wie google? Wenn das wirklich generell so ist, dann überholen die bald Google.

Habt ihr auch solche massiven Anstiege bemerkt?

MfG
Maik

Nein, er muss nicht unbedingt besonders gründlich deswegen sein.
Ich habe in etwa das gleiche Problem bei einen Robot und habe im Internet etwas dazu gefunden:

Das soll angeblich den Robot sagen, wann Sie das nächste Mal auf die Seite zugreifen dürfen.Slurp soll hier z. B. max alle 180 Sekunden (3 Min) eine Seite indizieren von der Website. MSN nur alle 2 Minuten. Ob das Funktioniert, werde ich erst nächsten Monat zuverlässig sehen, wenn es nicht funktioniert.
Diese Anweisung muss in die robots.txt aufgenommen werden.



MfG Sascha Ahlers

Teile uns doch bitte mit, ob dies funktioniert. Man weiss ja nie, wann sowas von Nutzen sein wird.

Gruss, Ivo

Werde ich machen, Ende Mai weiß ich mehr. Bei der entsprechenden Website macht besonders der "Inktomi Slurp" von Yahoo sehr viel Traffic.


MfG Sascha Ahlers

Laut Ask: Informationen für Webmaster müßte Crawl-Delay unterstützt werden.

Siehe Yahoobot Slurp und dessen Gefrässigkeit, vor einem Jahr minus 3 Tage. Für MSN wie hier http://search.msn.com.my/docs/siteowner.as...g.htm&FORM=WFDD
ask kann es auch: http://sp.de.ask.com/de/docs/about/asksearch.html
Google unterstützt die Funktion - soweit ich weiss - nicht, was aber auch nicht nötig ist.

evtl. gibt es da einen Zusammenhang?

Quelle: http://sp.de.ask.com/de/docs/about/press_0206.html

Gruß

sean

Bei mir macht Yahoo 57% des Suchmaschinenbot-Traffics aus

Auf meinen Hauptwebspace macht Ask ca. 2,5 % aller Anfragen im aktuellen Monat aus. Der Slurp ist wie fast jeden Monat Spitzen-Leecher mit über 25 % der Anfragen --> verursacht massig Traffic, ist aber nicht mal in der Lage alle Unterseiten in die Suchergebnisse aufzunehmen.

PS: Die %-Angaben sind aus Webalizer. Wenn man nur Anfragen von Sumas nimmt sind die Zahlen also noch höher.

Ich finde diese Vergleiche so wenig aussagekräftig. Man muß das in Relation zu den PageImpressions setzen.

Wenn eine Domain 100.000 Seiten hat, 50.000 PIs täglich und sich die vier Suchmaschinen google, Yahoo, MSN und Ask jeweils 1/4 der Seiten täglich holen (also zusammen 100.000), dann machen die Sumas 2/3 des Traffics aus.

Hat die Domain 500 Seiten und 5000 PIs, dann erzeugt ein analoges Spiderverhalten 1000 Hits, also erzeugen die Sumas 1/6 des Tagestraffics.

Edit: Nun ja, das 'analoge Spiderverhalten' erzeugt 500 Hits, dann sind es gerade mal 9%. 1/6 wird bei doppelt so hohem Spideraufkommen erzeugt.

So die Statistik sagt am Ende des Monats, dass Yahoo und Google sich nun nicht mehr all zu sehr vom Traffic unterscheiden:

Na ja, ich verfolge das einfach nochmal etwas.



MfG Sascha Ahlers

Also Ask indiziert nun bei mir monatlich mehr als 400.000 Seiten. Damit macht das nun fast 65% meiner Seitenaufrufe aus (inklussive Bilder & CSS). Bei Google bleibt es relativ konstant, allerding weit unterhalb von Ask... und die Seite hat mittlerweile von Google auch einen niedrigeren Pagerank verpasst bekommen.

Trotz der großzügigen Indizierung von Ask, ist bisher noch nicht ein einziger Besucher von Ask auf unsere Seite gekommen. Oder vielleicht haben die keine Referer-Angaben was ich bezweifle... auf jedenfall tauchen sie nicht in meiner Statistik auf.