Anzeige - [Interessiert an einer Anzeige?]
(?) Tags raten (?) (edit)
 
Reply to this topicStart new topicStart Poll
> robots.txt - Unterverzeichnis, in einem gesperrten Verzeichnis freigebe
Thema abonnieren | Thema versenden | Thema drucken
Felix Weber
findoo LTD
Geschrieben am: Di 18.09.2007, 08:36
Report PostQuote Post

AyomRank 5
**********

Gruppe: Member (aktiv)
Beiträge: 400
Mitglied seit: 28.06.2004
Hi!

Wie kann ich folgendes bewerkstelligen:

http://www.domain.de/verzeichnis/ ist gesperrt, aber
http://www.domain.de/verzeichnis/verzeichnis2 ist zugänglich ?

Ich meine mit:
CODE
User-agent: *
Disallow: /verzeichnis

wird auch /verzeichnis/verzeichnis2 gesperrt sein!

Felix


--------------------
"Eine wirklich gute Idee erkennt man daran, dass ihre Verwirklichung von vorne herein ausgeschlossen erscheint."
-Einstein-

MetaSuchmaschine
Top
PMEmail PosterUsers WebsiteICQMSN
Top
 
 
hk
#2 Geschrieben am: Di 18.09.2007, 08:55 (+00:19)
Report PostQuote Post

AyomRank 5
**********

Gruppe: Member (aktiv)
Beiträge: 379
Mitglied seit: 25.10.2006
Google würde das akzeptieren:

CODE

User-agent: *
Disallow: /verzeichnis
Allow: /verzeichnis/verzeichnis2


wie es die anderen se annehmen kann ich dir nicht sagen
Top
PMEmail Poster
Top
 
jAuer
Jürgen Auer - freiberufl. Programmierer
#3 Geschrieben am: Di 18.09.2007, 08:58 (+00:02)
Report PostQuote Post

AyomRank 9
Group Icon

Gruppe: Experten Entwicklung
Beiträge: 2304
Mitglied seit: 4.02.2006
QUOTE (Felix Weber @ Di 18.09.2007, 08:36)
Ich meine mit:
CODE
User-agent: *
Disallow: /verzeichnis

wird auch /verzeichnis/verzeichnis2 gesperrt sein!

Stimmt.

Also muß entweder die Verzeichnisstruktur geändert oder die zu sperrenden Dateien im /verzeichnis müssen angegeben werden.

Ich meine, für google mal eine Lösung der Form

QUOTE
Allow: /Verzeichnis
Disallow: /


gesehen zu haben. Aber der Allow-Operator ist nicht offiziell definiert, das klappt also bloß bei google.


--------------------
Web-Anwendung 3.0: Ein Online-Kalender für Termine vieler Filialen.

server-daten - die Single-Data-Solution: Web-Datenbanken als Online - CRM - Lösung.
Ihre Geschäftsprozesse entscheiden, was Ihre Online-Datenbank macht. Sie konzentrieren sich auf Ihr Kerngeschäft - die Datenbank funktioniert.
Top
PMEmail PosterUsers Website
Top
 
Blackscorpio
Charisma.Digital
#4 Geschrieben am: Di 18.09.2007, 10:21 (+01:22)
Report PostQuote Post

AyomRank 4
********

Gruppe: Member (aktiv)
Beiträge: 75
Mitglied seit: 29.08.2007
Moin,

machs am besten wirklich einfach so:

QUOTE

User-Agent: *
Disallow: /verzeichnis/datei1.html
Disallow: /verzeichnis/datei2.txt


Somit hast du kein Problem mit dem gesperrten Unterverzeichnis. Sicherlich bei vielen Dateien etwas umständlich aber denke der sauberste Weg für alle SuMas...

Gruß, Dan


--------------------
.oO( vaya con tioz )Oo.

Linknest - Artikelverzeichnis und viel mehr...
Pixel-Monster.de - Der Designerblog
Top
PMEmail PosterUsers WebsiteICQ
Top
 
Felix Weber
findoo LTD
#5 Geschrieben am: Di 18.09.2007, 11:15 (+00:54)
Report PostQuote Post

AyomRank 5
**********

Gruppe: Member (aktiv)
Beiträge: 400
Mitglied seit: 28.06.2004
Hi!

Danke!
Ich habe mich mal über den Allow-Operator informiert!
Gefunden habe ich ihn bei:
http://www.google.com/robots.txt
http://www.nytimes.com/robots.txt

Wobei selfhtml.org
sagt:
QUOTE
Es besteht übrigens keine Möglichkeit, Verzeichnisse explizit für die Indizierung zu erlauben. Ein Schlüsselwort Allow: wurde niemals definiert.


Dagegen sagt wikipediawikipedia:
QUOTE
Allow: (Googlebot, Yahoo! Slurp)  Auslesen erlauben  Disallow: /
Allow: /public  Das Verzeichnis /public darf durchsucht werden, der Rest nicht
(Syntaxerweiterung des Googlebot)


google sagt ja selber:
QUOTE
Die Erweiterung "Allow"
Googlebot erkennt die der robots.txt-Standarddatei hinzugefügte Erweiterung "Allow". Diese Erweiterung wird unter Umständen nicht von allen Suchrobotern anderer Suchmaschinen erkannt. Überprüfen Sie, ob dies auch für andere Suchmaschinen gilt, an denen Sie interessiert sind. Die "Allow"-Zeile funktioniert genauso wie die "Disallow"-Zeile. Geben Sie einfach das Verzeichnis oder die Seite an, das bzw. die zugelassen werden soll.

Möglicherweise möchten Sie "Disallow" und "Allow" gemeinsam verwenden. Wenn Sie beispielsweise in einem Unterverzeichnis den Zugriff auf alle Seiten bis auf eine sperren möchten, erreichen Sie dieses mit den folgenden Einträgen:

User-agent: Googlebot

Disallow: /folder1/

Allow: /folder1/myfile.html

Durch diese Einträge wird der Zugriff auf alle Seiten im Verzeichnis folder1 mit Ausnahme der Seite myfile.html gesperrt.


mmh, also Yahoo und Google akzeptieren "allow"! Was ist mit den anderen?

QUOTE
  Moin,

machs am besten wirklich einfach so:


CODE

User-Agent: *
Disallow: /verzeichnis/datei1.html
Disallow: /verzeichnis/datei2.txt


Somit hast du kein Problem mit dem gesperrten Unterverzeichnis. Sicherlich bei vielen Dateien etwas umständlich aber denke der sauberste Weg für alle SuMas...

Gruß, Dan

Gebe dir recht, dass es die einfachste Lösung wäre, aber bei ein paar tausend Dateien ??

Felix


--------------------
"Eine wirklich gute Idee erkennt man daran, dass ihre Verwirklichung von vorne herein ausgeschlossen erscheint."
-Einstein-

MetaSuchmaschine
Top
PMEmail PosterUsers WebsiteICQMSN
Top
 
Felix Weber
findoo LTD
#6 Geschrieben am: Di 18.09.2007, 11:18 (+00:02)
Report PostQuote Post

AyomRank 5
**********

Gruppe: Member (aktiv)
Beiträge: 400
Mitglied seit: 28.06.2004
Hi!

Habe gerade bei ask.com folgendes gefunden:

QUOTE
Q: Can I prevent the Ask crawler from indexing all or part of my site/URL?
A: Yes. The Ask crawler will respect and obey commands that direct it not to index all or part of a given URL. To specify that the Ask crawler visit only pages whose paths begin with /public, include the following lines:
# Allow only specific directories
User-agent: Teoma
Disallow: /
Allow: /public

hier

Somit kann ich sagen, dass folgende Sumas "allow" akzetieren:

Google
Yahoo
Ask

Denke ich werde das mit dem "allow" ausprobieren.

Felix


--------------------
"Eine wirklich gute Idee erkennt man daran, dass ihre Verwirklichung von vorne herein ausgeschlossen erscheint."
-Einstein-

MetaSuchmaschine
Top
PMEmail PosterUsers WebsiteICQMSN
Top
 
jAuer
Jürgen Auer - freiberufl. Programmierer
#7 Geschrieben am: Fr 21.09.2007, 20:02 (+3d 08:43)
Report PostQuote Post

AyomRank 9
Group Icon

Gruppe: Experten Entwicklung
Beiträge: 2304
Mitglied seit: 4.02.2006
QUOTE (Felix Weber @ Di 18.09.2007, 11:18)
Somit kann ich sagen, dass folgende Sumas "allow" akzetieren:

Google
Yahoo
Ask

Thanks für das Zusammensuchen.

Damit beschränkt sich das nicht mehr auf google - und MSN hat ohnehin eine gewisse Eigenwilligkeit bezüglich der robots.txt: Da sperre ich

QUOTE
Disallow: /confirm/


aus - und MSN holt sich www.server-daten.de/confirm ohne Slash, die leitet per 301 auf /confirm/ weiter - und MSN listet die Version ohne Slash.


--------------------
Web-Anwendung 3.0: Ein Online-Kalender für Termine vieler Filialen.

server-daten - die Single-Data-Solution: Web-Datenbanken als Online - CRM - Lösung.
Ihre Geschäftsprozesse entscheiden, was Ihre Online-Datenbank macht. Sie konzentrieren sich auf Ihr Kerngeschäft - die Datenbank funktioniert.
Top
PMEmail PosterUsers Website
Top
 
Thema wird von 0 Benutzer(n) gelesen (0 Gäste und 0 anonyme Benutzer)
0 Mitglieder:
« Google Analytics vollständiger Referrer? | Suchmaschinen Allgemein | Google verschluckt Seiten? »
Trackback-Url: http://www.ayom.com/track/t/20690
Dieses Thema abonnieren

Topic Options Reply to this topicStart new topicStart Poll

 


> Ähnliche Themen
Themen Titel Autor Views Antworten Letzte Aktion
robots.txt Was bedeutet sie? Sancheck 197 4 Sa 28.06.2008, 17:26
robots.txt Frage Sandro Feuillet 202 2 Do 13.03.2008, 12:03
robots.txt wird von Google nicht gefunden sevenid 435 17 Do 10.01.2008, 21:22
robots.txt hk 322 2 Mi 8.08.2007, 19:29
Markenname in Unterverzeichnis MSA 119 1 Mo 30.07.2007, 17:18
Robots.txt Holger Klass 355 1 Mo 30.07.2007, 04:07
Wieviele Zugriffe auf die robots.txt? cusco_ii 255 3 Mo 30.07.2007, 03:21
robots.txt - alles sperren ausser eine Datei?! HPI-Service 439 4 Do 21.06.2007, 09:53
Backlinks auf robots.txt gesperrte URLs Holger Klass 327 2 So 10.06.2007, 18:27
Frage zu ROBOTS.TXT (revisit after...) Dominic 1234 4 Di 8.05.2007, 19:24




Anzeige - [Interessiert an einer Anzeige?]



Anzeigen


[Interessiert an einer Anzeige?]