Falle für Spambots

Hier mal ein nettes kostenloses Tool, Spider Trap ein Falle für böse Bots und Spambots, die nichts anderes wollen als z.B. Content klauen:

Hier gibts das Tool

hier einen kleinen Bericht und im Einsatz zum testen

Geniale idee. Einen haken hat das ganze, geben sich bald alle bots als google aus?

zur Not gibts ja auch noch die IP, also kein Problem, selbst wenn man so nur 80% damit abfackelt bringt das schon mehr als genug

Hallo,
Es geht ja einfach darum dass auf diesem Gebiet einfach mal was passiert. Momentan ist das ja einfach Willkür.

Und wenn sich die BadBots auch an die Robots.txt halten ist es ja in Ordnung dann hat man es ja selber in der Hand welche Seiten gespidert werden.

Aber wie jiggle sagt wenn man 80% der Bösen erwischt ist es auf jeden Fall ein Erfolg. Ich selber habe durch fremden Content Klau usw eine Seite verloren. Die dümpelt jetzt irgendwo rum und war vorher auf Platz 2 bei 22 Mio Ergebnissen.

spider-trap.de selber läuft ohne whitelist um das auch zu testen ob sich Google dran hält..... !!!!

Ein anderer Punkt ist dass es ja auch gegen Bilderklau ganz gut ist.
Dadurch das per Image verlinkt wird werden auch solche Tools wie Mister PIX ins Leere laufen.

Gruß Thomas

Was "böse" ist und was "gut" liegt unter der Kontrolle des Autors des Skripts.
Daher muss man ganz genau hinschauen, was das Skript verursacht.
Man kann versuchen, Email-Adressen-Sammler zu fangen. Die Gefahr ist nur, dass man nur die "Dummen", die später eh woanders hängengeblieben währen fängt/aufhält und diejenigen, die schlau genug sind, weiterhin durchkommen.

Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.

Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen. Aber keine Angst, damit der Inhalt von einer Website geklaut wird, brauchste nicht mal unbedingt Bots, das machen auch genügend Besucher einer Website.
In zwei Fällen habe ich mich deswegen schon extra bemühen müssen, nur weil sich irgendwelche Personen einfach nichts dabei denken den Inhalt zu kopieren.



MfG Sascha Ahlers

ich gebe ja keine IPs oder User Agents vor. Und ich definiere "Böse" halt die die in Verzeichnissen wühlen, obwohl ich das verboten habe.

Schau dir mal die Bad IP Liste auf disallow.de an was sich da schon so ansammelt. Ich denke nicht dass du die alle drin hast.

Gegen jp Seiten und Seiten aus Fiji oder was weiß ich wo kann man nichts machen. Einer hatte sogar meinen Inhalt als Doorwaypage. Sieht man nicht so leicht das ganze. Selbst SEO Größen haben das nicht im Griff. Klar gegen die Besucher die den Inhalt klauen kann man nichts machen aber gegen Robots usw halt schon.

Das glaubst du doch wohl selbst nicht, was machts du bei einer Seite mit > 100.000 Vistits am Tag, hockst du da den ganzen Tag vor den Logs und sperrst die Viecher händisch aus?

Naja genau dazu ist Spider Trap doch gedacht, denke mal ist doch schon ein sehr guter Anfang

Wozu kann man denn Programmieren? Und wozu gibt es so schöne Auswertungsprogramme?
Außerdem, wenn man einmal kurz unter Google schaut, findet man auch schon einige fertige Listen. Ich fang doch nicht irgendwo von Null an, wenn sich schon mal jemand die Mühe gemacht hat. Und darauf kann man dann leicht aufbauen.


@jr-ewing:
Bisher kann ich nur sagen, das ich einige davon noch nicht drin hatte, aber anscheindend haben diese auch einige nicht drin, welche bei mir widerrum in meiner Liste habe. ;-)



MfG Sascha Ahlers

Ich habe das Teil bereits bei mir installiert (letzten Freitag). Samstag morgen trampelte der erste Spider in die Falle .... und Spider-Trap legte meine Seite lahm.
=> Mein Bericht dazu

Inzwischen gibts aber ein Update und in der readme.txt steht drin, dass der Deny-Block am Ende der .htaccess stehen muß!

Unsere Entwickler sagen auch - Finger weg von dem Tool!

Eine Begründung wäre nicht schlecht....

@Themenmixer
es tut mir leid. Habt dir das ja auch geschrieben und in die Installationsanweisung geschrieben.
Auf der anderen Seite ging ich davon aus dass man die Sache auch einmal selber testet.

Natürlich bin ich für Tipps dankbar und werde Vorschläge auch probieren zu realisieren.

Die Software ist auf unterschiedlichen Domains (ca. 20) bei unterschiedlichen Hostern ab 23.12 getestet worden. Alle Seiten fangen täglich einige Bots.