Fail2Ban Reporting Service

Our MySQL-Server which runs on the Webserver Hardware, makes the following Querys:

The Traffic is the following:

The average connections are 300 each minute. The MySQL-Server self used over 25GB of Ram to reduce the harddisk i/o.

He runs since over 6 Days. It is not so much, but we cached a lot of Data and generate the graphic, stats only all 4 to 15 or 30 minutes new. We think about to set all cache-times down or smaller.

If you have Questions or are interested on our Spam-Links, please contact us.

Yesterday on 27.03.2012 we received only for the Domain blocklist.de (catchall disabled) over 500.000 Mails on the primary MX-Server (Attacks, Bounces, Answers…):

sent cnt  bytes   defers   avg dly max dly host/domain
——– ——-  ——-  ——- ——- ———–
520k    1273m      48     4.0 s   19.1 m  blocklist.de

On the second MX, there was not 20.000:

sent cnt  bytes   defers   avg dly max dly host/domain
——– ——-  ——-  ——- ——- ———–
16154   110934k       0     3.9 s    2.8 m  blocklist.de

We have optimized the MySQL-Querys to use less and so the parsing is faster and the mysql-load is not longer so high 🙂

If you have Server withs Attacks (Windows, Linux, Mac), you can use own Scripts to send us there Attacks:

http://www.blocklist.de/en/download.html#ohnefail2ban

In the last days, we seen a lot of Attacks from IP-Adresseses from the AS-Network 15003 which is owned by nobistech.net and mostfull of ubiquityservers.com with the first Attack. This IP-Addresses we have no seen before.

Yes, we know he hase a large Network, but there hosted a lot of Tor- and Proxy-Server. This is ok, but in the last Days the IP-Addresses have a Reverse-DNS-Entry to ipvnow.com which is for sale.

On the IP-Addresses, there are running Squid-Proxys which have Rules, but the Spamer can use them (false acls or the Owner offert a Squid-Proxy-Farm).

So we hope that nobistech.net disabled the Proxy-Server or forwarding our Complaints, that the Proxy-Owner can disable the spaming User.

Die Export-Listen von blocklist sind ja je nach Angriffe und Tagesform größer. Die all.txt kann da schon mal 30.000 IP-Adressen gelistet sein.

Da kann der Import in eine Firewall schon mal etwas dauern 😐

Auf Anfrage haben wir nun ein Skript gebaut, welches nur die neuen IP-Adressen ausgibt, die nach xx-Uhr hinzugekommen sind.

Dies kann ganz einfach über folgende URL aufgerufen werden:

https://api.blocklist.de/getlast.php?time=18:00

https://api.blocklist.de/getlast.php?time=18.30

https://api.blocklist.de/getlast.php?time=1332437269

Statt 18:00 Uhr kann man auch einen Unix-Zeitstempel oder nur die Stunde nutzen: $time=08

Wenn kein Fehler vorliegt, wird die Ausgabe als plain/text ausgegeben und kann wie die Download-Listen importiert werden.

Man sollte trotzdem vor dem Sperren noch prüfen, ob die IP nicht bereits per iptables gelistet ist.

[UPDATE 02.06.2012]

Mit $service= kann man die Ausgabe noch weiter auf nur bestimmte Dienste eingrenzen:

https://api.blocklist.de/getlast.php?time=18.30&service=mail

Der User Kapsonfire hat im Forum eine Anleitung geschrieben, wie man die IPs bei Fail2Ban imporieren und so zeitgesteuert sperren kann:

https://forum.blocklist.de/viewtopic.php?f=11&t=107

Bei blocklist.de kann man sich ja kostenlos registrieren und dann über uns SSH-, FTP-, imap- usw. Attacken automatisiert melden und verarbeiten, ähnliche wie bei spamcop.net.

Dazu ist allerdings eine Registrierung per Double-Opt-In nötig, wo der Inhaber der E-Mailadresse die Registrierung innerhalb von 7 Tage bestätigen muss.

Nun tauchen in den Logs immer wieder folgende Aufrufe auf:

http://www.blocklist.de/en/register.html?agreed=true

Es erfolgt dann eine Weiterleitung mit Generierung einer neuen Session. Dies wird von den Bots wohl als Erfolg gewertet, da diese dann in der nächsten Sekunde sich versuchen einzuloggen.

Hier einmal so ein Vorgang von der IP 31.184.238.23 am 26.02.2012:

31.184.238.23 - - [26/Feb/2012:12:46:40 +0100] "GET /en/register.htmlagreed=true?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5BPLM=0%5D%5BR%5D+GET+http://www.blocklist.de/en/register.htmlagreed=true?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5B0,13411,13246%5D+-%3E+%5BR%5D+POST+http://www.blocklist.de/en/register.htmlagreed=true?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5B0,0,13598%5D+-%3E+%5BL%5D+GET+http://www.blocklist.de/en/login.html+%5BR=302%5D%5B0,0,223%5D+-%3E+%5BL%5D+GET+http://www.blocklist.de/en/login.html+%5BR=302%5D%5B7123,0,12270%5D+-%3E+%5BL%5D+GET+http://www.blocklist.de/en/login.html?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5B0,12608,12316%5D+-%3E+%5BL%5D+POST+http://www.blocklist.de/en/login.html?sid=29f0115bd34fa1cbc680a8e2a8f54da4&action=login+%5B7122,0,12426%5D HTTP/1.0" 302 16088 "http://www.blocklist.de/en/register.htmlagreed=true?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5BPLM=0%5D%5BR%5D+GET+http://www.blocklist.de/en/register.htmlagreed=true?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5B0,13411,13246%5D+-%3E+%5BR%5D+POST+http://www.blocklist.de/en/register.htmlagreed=true?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5B0,0,13598%5D+-%3E+%5BL%5D+GET+http://www.blocklist.de/en/login.html+%5BR=302%5D%5B0,0,223%5D+-%3E+%5BL%5D+GET+http://www.blocklist.de/en/login.html+%5BR=302%5D%5B7123,0,12270%5D+-%3E+%5BL%5D+GET+http://www.blocklist.de/en/login.html?sid=29f0115bd34fa1cbc680a8e2a8f54da4+%5B0,12608,12316%5D+-%3E+%5BL%5D+POST+http://www.blocklist.de/en/login.html?sid=29f0115bd34fa1cbc680a8e2a8f54da4&action=login+%5B7122,0,12426%5D" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) Opera 6.01 [en]"

Naja. Nach 4 Fehl-Logins beim Login ist die IP für weitere Aufrufe für 10 Stunden gesperrt, daher ist ein Brute-Force-Angriffe nicht erfolgreich, bzw. dauert so sehr lange oder man braucht sehr viele IP-Adressen.

We have sorted the Spam-Links from the BadBot-Comments in our Honeypot-Systems.
Here is the list:

Count (URLs)   : Host

In the next Days/Weeks we will forwarding all URLs to the Siteowners to check them if the Content not clearly spam.

Wir erhalten ja wie bereits mehrfach geschrieben über unsere Honeypot-Seiten und Server einen Haufen an Links/URLs von den Spamern, die Ihre Einträge in unsere Honeypot-Seiten schreiben.

Ebenso, senden die Spamer alle paar Minuten auch Spam-Einträge durch unseren X-ARF-Validator. Die dort eingetragenen Daten, werden temporär gespeichert und dann analysiert und ausgegeben. Also ob der Report korrekt ist oder Fehler aufweist. Bei Fehlern vom Skript oder Dienst, erhalten wir einen Error-Report, wo auch die Eingegebenen Daten zum reproduzieren enthalten sind. Diese sehen oft so aus:

7p1ycJ  <a href="http://bwuwibotvoeh.com/">bwuwibotvoeh</a>, [url=http://tfnnlpsrepst.com/]tfnnlpsrepst[/url], [link=http://houlrmtcufjd.com/]houlrmtcufjd[/link], http://znlsndjksnlg.com/

Solche Links und Einträge erhalten wir auch bei unseren Honeypot-Seiten. Dies sind mehrere hundert neue Links am Tag. Diese reporten wir nun auch, wenn die Inhalte der Seiten einen bestimmten Score überschreiten.

Kommt z.B. 10 mal das Wort „Viagra“ in genau solch einer Form oder 15 Mal in einer ähnlichen Form vor, wird der Score pro Fund um 100-500 Punkte entsprechend erhöht. So ergibt sich dann aus den einzelnen Wörtern ein Gesamtscore. Ist dieser zu hoch, wird die URL an das zuständige Abuse-Team des Providers gemeldet. Diese können dann prüfen ob z.B. ein vergessenes Forum missbraucht wurde. Oft fassen diese bereits mehrere hunder tausend Einträge zu Malware oder Spam-Seiten.

Ebenso sind sehr viele Seiten von großen Portalen dabei, wo Aboute-Me-Seiten missbraucht werden. Einige Portale haben nach mehrmaligen Reports Abhilfe geschaffen (z.B. my.opera.com), andere reagieren gar nicht oder sagen sie haben etwas getan, aber die Seiten sind weiterhin online (myspace.com).

Solche Portal-Seiten werden anhand von einer Blacklist gefiltert und nicht reportet, wenn diese nichts unternehmen.

Aktuell sind uns keine Dienste ausser SURBL und cyscon csirt (Malware) bekannt, die solche URLs reporten, ausser wenn Markenrechts-Verletzungen durch die Nutzung von geschützten Wörtern besteht.

Der Dienst von spamlinks.blocklist.de ist aktuell noch im Anfangsstadium und kann daher noch Fehler aufweisen und Verbesserungswürdig. Bei Fragen oder Vorschlägen bitte einfach uns anschreiben:

support@blocklist.de