(todo),9,Spam Filter für Posts

Ziel
Da die Posts von Spam Bots zunehmen, haben wir einen kleinen Spam Filter eingerichtet.

Todos
- Spam-Filter für Posts (wenn Grenzwert überschritten, Post in Moderatoren Queue verschieben)
- Spam Liste überarbeiten
- Freeze Funktion überarbeiten (hide Profile for freezed users)
- Freeze Funktion besser dokumentieren
- Anpassung archiv.html an Spam Filter
-Ähnliche Themen aussortiert
- Neues Feld für Fake Anmeldungne bei Reg 20/1/10
- Links und Signatur für gefreeste Mitglieder entfernt
- Links und Signatur von nicht aktiven Mitgliedern nur für eingeloggte Mitglieder sichtbar.


progress 90%

Bemerkungen
Bitte meldet, falls ein Spam Post durch den Filter rutscht. Es handelt sich um eine eher rudimentäre Implementation, weshalb dies durchaus vorkommen kann.

@All, @Milan, das Post das anfangs hier stand war eines der Adult-Spam-Post, welches ich zum testen gepostet hatte. Da ich ein paar davon gepostet und noch 2-3 andere Sachen gemacht habe, war es etwas lange online. sry, wollte natürlich nicht gegen die eigenen Regeln verstossen.

Das angehängte Bild gibt einen Eindruck von dem Ungemach. Den Moderatoren sei dank waren die einzelnen Themen immer sehr kurz online. Trotzdem bestand Handlungsbedarf.

Bearbeitet von Alain Aubert am Mi 20.01.2010, 20:33

angehängtes Bild

Was geht hier vor?

Was ist mit http://www.ayom.com/faq/regeln-fuer-ayom-a-124.html

Edit: Ok, dann ist ja alles in Ordnung.

Mit dem Porno-Spam funktioniert der neue Filter zu 100%.

Leider sind in der Tat in letzter Zeit ein paar Spam Beiträge zu Tulamedo-Irgendwas durchgekommen.
Danke an Jürgen für den Hinweis.

Bitte an alle, meldet diese Beiträge mit der Meldenfunktion und benutzt das Stichwort "Spambot".

Mich wuerde mal Interessieren wir ihr den Spamfilter umgesetzt habt.
Ich nutze in meinen Forum den Bayes-Filter, bin aber noch nicht so wirklich zufrieden damit.

trivial static weighted blackword list. Hat ~20 Zeilen.
Sinnvoller wäre die User an sich zu erkennen, was in einem nächsten Schritt geplant ist.

Wäre intressiert, hast Du einen Link für mich?

Da gibt es keinen Link, ist eine eigenkreation
Im Prinzip wird jedes einzelne Wort des Beitrags mit einer Lister verglichen und eine Wertung zugeteilt.
Bei Themenspezifischen Foren arbeitet das Script sehr gut, aber gerade bei Allround Boards gibt es noch einige Fehler.

Die User an sich zu erkennen ist ein schoener Ansatz. Bei alten Usern ab X Posts werden die Beitraege bei mir nicht ueberprueft, und bei neuen gibt es ja auch einige Methoden.
Ich denke mal wenn man die IP mit einbezieht kann das schon einiges bringen. Bei einer IP aus Timbuktu ist das Spamriskio sicher hoeher als bei einer aus Deutschland. Auch die Browsereinstellungen/Plugins werde ich mit einbeziehen.

Zumindest habe ich in diesem Thread eine neue Idee gewonnen, dafuer danke

@Alain: Ich habe mal gemäss auf dem Artikel hier http://www.generation5.org/content/2004/KillSpam.asp einen primitiven Spam-Filter auf der Basis eines neuronalen Netzes (MLP) programmiert. Finde leider den Source nicht, kann mich aber noch erinnern, dass ich eine bestehende NN-Bibliothek in PHP genutzt habe.

Nachtrag: habe den Source gefunden.
Die NN-Bibliothek findet sich inzwischen hier: http://ann.thwien.de/index.php/Download

@all, ich musste den Gürtel etwas enger schnallen. Es kann sein, dass Beiträge als false positives erkannt werden. D.h. ihr postet was und es erscheint nicht. Dann bitte sofort bei mir beschweren? Danke.

@polonius, rückst Du Deine Implementation auch raus ? Wusste nicht, dass es NN libs in PHP gibt... Ist das Performant?

Ich habe mich nie darauf geachtet, wie performant das ist. Es war in meinem Fall auch nicht so wahnsinnig wichtig, da ich es nur für ein Gästebuch mal genutzt habe, welches geringen Traffic aufwies. Der wichtigste Performance-Faktor ist, dass du einen Beitrag zig mal durch das NN laufen lassen musst, um es zu trainieren.

Wenn dich die Implementierung wirklich interessiert, schick mir eine PM, wohin ich dir den Source schicken soll (ich muss ihn aber wieder suchen ;-)). Es ist natürlich zu berücksichtigen, dass das die Lösung meine Programmierkenntnisse von vor einigen Jahren repräsentiert und lediglich einen sehr simplen Ansatz darstellt, der sicher noch stark verbessert werden kann.

Done.


Projekt ist also beendet.

Prejekt reopened (20/1/10)