Ich habe mir die T-Online Statistik (Häufigsten 30 Seiten) angeschaut und plötzlich taucht die robots.txt zum ersten mal auf, mit über 1400 Zugriffen (01.07. bis zum 26.07) , vorher war die dort nicht gelistet, nach meinen Kenntnisstand. Frage warum so viele Zugriffe? Ich bin eigentlich nur in Crawler - Suchmaschinen von Deutschland, Österreich und Schweiz eingetragen, Verzeichnisdienste besitzen in der Regel keinen Crawler oder? Und wenn doch bin ich meist nur in Europa vertreten. Wo kommen diese ganzen Zugriffe her? Besucher erhalte ich nur von 11 Suchmaschinen bisher.

Wieviele Zugriffe hat eure robots.txt? Nur damit ich vergleichen kann.

öhm, überwache ich so direkt nicht, habe jedoch täglich (meist mehrmals in der Stunde) immer wieder Bots von yahoo (besonders schlimm), google (geht so), msn (eher weniger traffic) und gigabot (etwa wie google) auf meinen Seiten.
Die crawlen sehr fleißig ^^

Genaue Zahlen habe ich jedoch nicht, denke aber mal das dies auch sehr stark Abhängig ist von Faktoren wie Aktualisierungszyklus, Umfang der Seite, Linkpop, etc.

Na ja, wenn Du deinen Alexa-Rank durch die Verwendung der Alexa-Toolbar pushst, dann kommt der Alexa-Crawler - und holt sich auch die robots.txt fleißig ab.

google geht i.d.R höchstens einmal am Tag drauf, Yahoo holt sich die robots ziemlich häufig.

Jetzt mache ich mir fast sorgen, laut Statistik vom Vormonat hat die robots nicht mal 460 Zugriffe erreicht uns jetzt sind es über 1500 (27.07). Könnte das wirklich Alexa sein? Ich glaube eher nicht eigentlich reicht es doch wenn die Robots maximal 1 mal am Tag abgeholt wird. Sorgen mache ich mir aber um den Traffic. Aktuell werden es in diesen Monat wohl 15 GB sein, im gesamten Vormonat waren es nur 10 GB (75 GB erlaubt der Tarif). Nächsten Monat werden es wohl 30 GB werden wegen Bannerview-Werbung (Habe die letzten Tage fast 1 GB Traffic am Tag gehabt). Ich rechne jetzt mal ... HTML-Dateien haben 18 MB Umfang (354 Seiten+), 40MB die gesamte Page (2000 Dateien), bei 50 GB Traffic können Suchmaschinen 2800 mal alle HTML-Dateien und 1280 mal die gesamte Homepage abfragen das mach 94/42 mal am Tag. Ich glaub ich kann mich beruhigen oder? Denn keine Maschine durchsucht die Gesamte Webseite jeden Tag und ich bin nur in ca. maximal 100 - 150 Eingetragen.

In diesen Monat sind die Besucherzahlen übrigens um 16% und die Seitenzugriffe um 35% gestiegen, laut Analytics, Besucher von Google +20%