Botnetze und Spam Crawler per htaccess aussperren

Bot Netzwerke und Spam-Crawler

Jeder der Webseiten administriert und seine Besuche analysiert (z.B. Google Analytics, Piwik oder andere Hilfsmittel), wird mit Sicherheit schon Besuch von diversen Crawler von Spam- und Bot- Seiten gehabt haben.
Da diese Seiten oder Netzwerke mit Sicherheit nichts Gutes im Schilde führen und die Besuche dieser Seiten auch die Statistiken der jeweiligen Seite verfälschen, möchte ich mit diesem Tutorial zeigen, wie man diese Netzwerke wieder vor die Tür setzen kann.
Mein besonderer Freund bezüglich Spam-Crawler ist die Domain semalt.com. Diese Seite bietet SEO – Optimierung aus der Ukraine an. Für diesen Dienst ist auch zwingend eine Kreditkarte nötig (wer dabei Böses denkt).
Anhand dieser Domain werde ich in diesem Tutorial zeigen, wie Sie Mithilfe der .htaccess Datei im root-Verzeichnis Ihrer Webseite, diese Domains wieder vor die Tür setzen.

Voraussetzung für den Einsatz einer .htaccess – Datei

Am einfachsten die Spam-Crawler vor die Türe zusetzen, ist die Verwendung einer .htaccess Datei die im Hauptverzeichnis Ihrer Webseite gespeichert wird. Damit Sie diese Datei auf Ihren Webserver einsetzen können, ist es wichtig dass der Apache-Server das Modul mod_rewrite unterstützt, da sonst von Ihrer Webseite nur noch eine weiße Seite im Browser zurückbleibt (bitte Unterstützung des Moduls bei Ihrem Provider erfragen).

Spam-Crawler per .htaccess – Datei vor die Türe setzen

Um die Domain semalt.com von ihrer Webseite auszuschließen geben Sie folgende Anweisung in Ihre .htaccess – Datei ein:

RewriteEngine on RewriteCond %{HTTP_REFERER} semalt\.com [NC] RewriteRule .* — [F]

Diese Anweisung können Sie zum Beispiel auch auf andere Domain ausweiten. Eine kleine ‚Liste‘ von Spam-Seiten und die dazugehörigen Anweisungen um diese Seiten auszuschließen finden Sie hier:

UPDATE

Aus gegebenen Anlass habe ich die Liste der Seiten aktualisiert.

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^https://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*simple-share-buttons\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*softomix\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*zazagames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*vapmedia\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*soundfrost\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*joingames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*videofrost\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*softomix\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*feedouble\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*backgroundpictures\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*joinandplay\.me/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*videofrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*srecorder\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*softomix\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*openmediasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*openfrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*myprintscreen\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*musicprojectfoundation\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*feedouble\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*fbfreegifts\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*extener\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*embedle\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*7makemoneyonline.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*semalt\.com/ [NC]
RewriteCond %{HTTP_REFERER} ^https://.*free-share-button\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*buy-cheap-online\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*best-seo-offer\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*Get-Free-Traffic-Now\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*buttons-for-your-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*torture\.ml/ [NC]
RewriteRule ^(.*)$ – [F,L]

Fazit

Wie oben gezeigt, lassen sich diese Crawler leicht per .htaccess ausschliessen. Doch leider vermehren sich diese Bot-Schleudern und Spam-Crawler schneller, als einem lieb ist. Daher sollten Sie bei der Analyse ihrer Website-Daten die Augen offen halten und die .htaccess-Datei gegebenfalls anpassen.