Anmelden, um zu folgen  
Folger 0
hk

robots.txt

2 Beiträge in diesem Thema

Hi,
ich habe zur Zeit das Problem das einige Amazon Self Optimizing Links keine passenden Produkte ausliefern (erst seit ca. 2 Wochen). Ich vermute das dies mit meiner Robots.txt zusammen hängt, da meine Seiten Struktur geändert habe und einige bereichte mittels robots.txt geblockt habe. Leider muss ich dadurch manche Bereiche wieder mit einem Allow freigenben (andere möglichkeit gibt es nicht..).

Ich vermute das der Bot der für das Spidern des Inhaltes für Amazon zuständigt ist Probleme mit meiner Robots.txt hat. Würde den entsprechenden User Agent also auch gerne aus der Robots.txt ausschließen, nur leider finde ich nirgends Informationen welcher User Agent dafür in frage kommt.

Komisch ist jedoch, das nur manche Seiten betroffen sind, andere Seiten, die genauso per Robots.txt eingeschränkt sind, funktionieren einwandfrei?!.. Eventuell doch ein Problem seitens Amazon? Wer von euch benutzt SOL und hat eventuell ähnliche Probleme (oder eben nicht)?

Bei eMail anfragen beim Partnernet gabs nur unbrauchbare Antworten mit hinweiß auf den Werbemittel generator (aha..) und das Support Forum (wo ich die Frage bereits gestellt hatte, aber auch keine ANtwort bekomme).

Bei adsense ist es "Mediapartners-Google*", welcher User Agent ist bei Amazon zuständig?

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen
Dir ist bewusst, dass ein Crawler nur "Disallow" unterstützen sollte und dass "Allow" eine Sonderform ist, die nur wenige Bots akzeptieren?

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen
Ist mir bewusst, muss zwar stellenweise ein Allow für manche Seiten machen, g+ nimmt dies aber an. Mit dem Amazon User Agent ist etwas unglücklich von mir ausgedrückt. Ich möchte

CODE
User-agent: Mediapartners-Google*
Disallow:


Mit dem User-agent für Amazon. Das Problem hab ich jetzt auch definitiv auf die Robots.txt zurückgeführt.

Diesen Beitrag teilen


Link zum Beitrag
Auf anderen Seiten teilen

Erstellen Sie einen Account oder melde Sie sich an um kommentieren zu können

You need to be a member in order to leave a comment

Create an account

Registrieren Sie einen neuen Account in unserer Community. Es ist einfach!


Register a new account

Anmelden

Haben Sie bereits einen Account? Dann melden Sie sich hier an.


Jetzt Anmelden
Anmelden, um zu folgen  
Folger 0