Seiten werden indiziert, obwohl nicht verlinkt

Bei einem Wettbewerber habe ich festgestellt, dass Seiten von ihm im Google- und Sistrix-Index enthalten sind, obwohl diese weder von extern noch von intern verlinkt sind.

(Ich habe mit WinHTTrack alles downgeloaded und keine Verweise gefunden)

Die URL, die von Google gefunden wird und deren Inhalte indiziert werden ist z.B.:

http://www.meine-tolle-website.de/einordner/

Auf eben diese URL gibt es keine internen und externen Verweise.

Auf was es hingegen sehr wohl interne Verweise gibt ist z.B.:

http://www.meine-tolle-website.de/einordner/ein-dokument.pdf

Meine Frage: Warum indiziert Google die Inhalte einer URL, die nicht referenziert wird?

Meine Vermutung ist, dass sobald etwas unterhalb eines Ordners referenziert wird, eine Suchmaschine "nach oben" wandert und alles jeweils anschaut.

Ist das so korrekt?

Bei mir werden auch dynamisch generierte Inhalte ohne irgendwelche Verlinkung in den Google Index aufgenommen. Da drauf sind Adsense und Analytics. Welches davon hat jetzt die URLs Google gesteckt?

Google hat ein Interesse an Deep-Web inhalten. Ansonsten würden die meine Inhalte wieder löschen (58,700 Müll-Seiten von insgesamt 71,300 Seiten).

In Deinem Bsp. könnte es ja auch sein, dass die Verlinkung vor 1 Monate noch bestand (intern) bzw. jetzt noch besteht (extern). Bzw. dass Du mit Deiner These sogar recht haben könntest.

Interessant ist eigentlich eher, wie Sistrix drauf gekommen ist... [Nutzung von Google Index-Daten?]

Danke, @Peter. Auf den Seiten des Wettbewerbers sind keinerlei Skripte drauf.

Hast Du historisch nach Links gesucht? Ich mein, es kann ja einfach sein, dass Links gelöscht wurden und die Seite trotzdem im Google-Index verbleibt.

Die "Kürzung" von Parametern und URLs kenn ich allerdings auch von google...

Ich würde das als "normal" ansehen. (Im Sinn der DC-Vermeidung kürzt Google bei mir z.B. auch unnötige URL-Parameter)

Mach halt eigene Tests mit unverlinkten Seiten und nutze einmal die Toolbar oder eine alte Chrome-Version oder sonst was, bis die Seite indexiert ist.

Habe vorhin mal bei uns auch ein paar solcher Seiten eingestellt, mal gucken, ob/wann Google sie findet

Danke nochmals!

Ich will anfügen, dass selbst wenn Du die Funktion von Google reverse engineert hast, Du Dich dann fragen müsstest, ob verlinkt versus unverlinkt in den SERPS gleichgestellt ist.

Meine Daten sind deutlich:
50 000 unverlinkte Seiten: 5% des Traffics
21 000 verlinkte Seiten: 95% des Traffics.

Also da ist inmho nicht unbedingt ein SEO-Nutzen damit verbunden, sondern eher im Sinne des Schützens von Seiten/Inhalten vor dem Spidern Erkenntnisse zu erwarten.

Bist du sicher das keine externen Links auf die Seiten exisitieren? Vielleicht exisiteren welche die noch sehr neu sind und die deshalb von BL Tools noch nicht angezeigt werden?
Vielleicht benutzt er auch Google XML Sitemaps, die mag Google ziemlich gern und holt sie auch oft ab.
Oder er pingt die Seiten manuell an und sie werden dadurch schnell indiziert.

Danke, @blackfairy.

Ja, ich bin ziemlich sicher, da es sich um viele Seiten handelt, die auf unterschiedlichen Domains liegen ("Microsites") und ich ein System dahinter sehe.

Eben das würde ich gerne verstehen

Hab den Thread jetzt erst gesehen, aber wenn du mit WinHTTrack runtergeladen hast, dann MUSS die Seite irgendwo intern verlinkt sein. Sonst hätte WinHTTrack sie definitiv nicht entdeckt.

Hallo, @Klabund.

Da habe ich mich dann leider falsch ausgedrückt (sorry!):

Die Seite ist im Google-Index, allerdings wurde sie von WinHTTrack nicht downgeloadet.

WinHTTrack scheint also anders vorzugehen als Google.

Wenn du magst schick mir mal die Seite oder Seiten per PN, dann schau ich mal drüber ob ich irgendwas finde was es erklärt.

Es war Google Chrome
Klingt zwar lustig, aber heutzutage ist alles möglich.

Nutzt du diesen Browser?