Hi,

Habe etwas spezielle Frage zur robots.txt.

Weiss jemand wie ich nur ein Listing verbietenkann, die darunter liegenden Seiten jedoch erlauben?

also

# http://beispiel.de/robots.txt

User-agent: *
Disallow: /foo/ #Seite in welcher alle Unterdateien aufgelistet sind, sollte nicht indexiert werden. Den Links solte jedoch gefolgt werden...
Allow: /foo/file.htm
Allow: /foo/*.htm

Geht sowas überhaupt? Möchte nicht dass die Listingseite in den Resultaten auftaucht, sie wurde nur für das Auflisten der darunter liegenden Seiten erstell. Die Listingseite ist für user nicht nützlich, die darunter liegenden Seiten schon.

Ach ja, es geht hier nicht um Doorwaypages oder sonstiges Suma-Tricksen, brauche das für eine Site-interne Google-Mini Suche, welche leider nur so alle gewünschten Seiten indexieren kann. Die gelisteten Seiten waren vorher nur via Suche erreichbar, nicht via Browsen.

ich bin mittlerweile sehr vorichtig und verlass mich nicht mehr alleine auf die robots.txt.

hatte bei einer neuen seite per robots ein paar ausgesperrt, weil es DC gewesen wäre. google aber indexierte das zeug wie es ihr gerade lustig war. ob die sites auch ins ranking gekommen wären bleibt offen. ich habe anschliessend <META NAME="robots" CONTENT="NOINDEX,FOLLOW"> gesetzt und jetzt ist gut.

gruss ric


PS: das ist keine 2 wochen her

So etwas geht bei mir: Die robots.txt hat

Die Suche nach site:www.sql-und-xml.de/xml/ listet (zwar etwas unglücklich auch alles aus dem /xml-lernen/) ganz hinten die beiden Xsl-Dateien.

Die anderen Xml-Dateien, die es in diesem Unterverzeichnis und darunter (da existiert die gesamte Domain als Xml-Dateien) gibt, sind nicht im Index.