Heutiges Datum:10. Dezember 2019

Bisher keine Bewertung. Botnetze und Spam Crawler per htaccess aussperren


Bot Netzwerke und Spam-Crawler

Jeder der Webseiten administriert und seine Besuche analysiert (z.B. Google Analytics, Piwik oder andere Hilfsmittel), wird mit Sicherheit schon Besuch von diversen Crawler von Spam- und Bot- Seiten gehabt haben.
Da diese Seiten oder Netzwerke mit Sicherheit nichts Gutes im Schilde führen und die Besuche dieser Seiten auch die Statistiken der jeweiligen Seite verfälschen, möchte ich mit diesem Tutorial zeigen, wie man diese Netzwerke wieder vor die Tür setzen kann.
Mein besonderer Freund bezüglich Spam-Crawler ist die Domain semalt.com. Diese Seite bietet SEO – Optimierung aus der Ukraine an. Für diesen Dienst ist auch zwingend eine Kreditkarte nötig (wer dabei Böses denkt).
Anhand dieser Domain werde ich in diesem Tutorial zeigen, wie Sie Mithilfe der .htaccess Datei im root-Verzeichnis Ihrer Webseite, diese Domains wieder vor die Tür setzen.

Voraussetzung für den Einsatz einer .htaccess – Datei

Am einfachsten die Spam-Crawler vor die Türe zusetzen, ist die Verwendung einer .htaccess Datei die im Hauptverzeichnis Ihrer Webseite gespeichert wird. Damit Sie diese Datei auf Ihren Webserver einsetzen können, ist es wichtig dass der Apache-Server das Modul mod_rewrite unterstützt, da sonst von Ihrer Webseite nur noch eine weiße Seite im Browser zurückbleibt (bitte Unterstützung des Moduls bei Ihrem Provider erfragen).

Spam-Crawler per .htaccess – Datei vor die Türe setzen

Um die Domain semalt.com von ihrer Webseite auszuschließen geben Sie folgende Anweisung in Ihre .htaccess – Datei ein:

RewriteEngine on RewriteCond %{HTTP_REFERER} semalt\.com [NC] RewriteRule .* — [F]

Diese Anweisung können Sie zum Beispiel auch auf andere Domain ausweiten. Eine kleine ‚Liste‘ von Spam-Seiten und die dazugehörigen Anweisungen um diese Seiten auszuschließen finden Sie hier:

UPDATE

Aus gegebenen Anlass habe ich die Liste der Seiten aktualisiert.

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^https://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*simple-share-buttons\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*softomix\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*zazagames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*vapmedia\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*soundfrost\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*joingames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*videofrost\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*softomix\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*feedouble\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*backgroundpictures\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*joinandplay\.me/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*videofrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*srecorder\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*softomix\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*openmediasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*openfrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*myprintscreen\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*musicprojectfoundation\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*feedouble\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*fbfreegifts\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*extener\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*embedle\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*7makemoneyonline.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*semalt\.com/ [NC]
RewriteCond %{HTTP_REFERER} ^https://.*free-share-button\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*buy-cheap-online\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*best-seo-offer\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*Get-Free-Traffic-Now\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*buttons-for-your-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*torture\.ml/ [NC,OR]
RewriteRule ^(.*)$ – [F,L]

Fazit

Wie oben gezeigt, lassen sich diese Crawler leicht per .htaccess ausschliessen. Doch leider vermehren sich diese Bot-Schleudern und Spam-Crawler schneller, als einem lieb ist. Daher sollten Sie bei der Analyse ihrer Website-Daten die Augen offen halten und die .htaccess-Datei gegebenfalls anpassen.

Wie hat dir der Beitrag gefallen?


Marcel von SecureBits

Bin schon ewig mit der IT verbunden und interessiere mich hauptsächlich für die Themen IT-Sicherheit, Programmierung und Gesellschaft. Betreibe diesen Blog aus Leidenschaft und setze mich für eine sichere IT-Landschaft ein, um das Recht auf Privatsphäre mit kleinen Mitteln zu schützen. Freue mich immer über Kommentare von euch und wenn es mir möglich ist, helfe ich gerne.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Hiermit stimmst du unseren Datenschutzbestimmungen zu.