Suchmaschinen dauerhaft blocken

mit Nginx

TechWiki / Server & Nginx / Suchmaschinen dauerhaft blocken

Suchmaschinen-Anbieter durchsuchen mit Bots zur Indizierung die URL bzw. die Website. Wenn man das sperren möchte, kann man das mit einer Robots.txt versuchen. Ob sich der Bot daran hält, ist eine andere Sache. Man kann den Bot aber komplett vom Server fern halten.

Und das ist dazu noch relativ einfach!

Einfach die Konfigurationdatei der URL unter nginx öffnen (Beispiel: /etc/nginx/sites-enabled/meineseite.de) und folgende Codezeile unter Server hinzufügen. 

GoogleBOT

if ($http_user_agent ~* (googlebot) ){ return 403; }

Das wars. Soweit der GoogleBOT jetzt eure URL bzw. Website indizieren will, bekommt dieser nur noch die Fehlermeldung 403: forbidden (verboten). Jetzt möchte man aber vielleicht mehrere Suchmaschinen oder einen Download verhindern. Hier ein paar Beispiele.

GoogleBOT & BingBOT & Yahoo Slurp

if ($http_user_agent ~* (googlebot|bingbot|slurp) )
{
return 403;
}



Hier eine Auflistung weiterer Dienst

Google: googlebot

Bing: bingbot

Yahoo: slurp

DuckDuckGo: duckduckbot

Baidu (Chinesiche Suchmaschine): baiduspider

Yandex (Russische Suchmaschine): yandexbot

Sogou (Search Engine aus China): sogou

Exalead (Search Engine aus Frankreich): exabot

 Amazon’s Alexa internet rankings: ia_archiver

 Catall.de search & web directory: catall spider

 Acoi picture finder robot: acoirobot

 Unix-Downloader: wget

Facebook External Hit: facebot & facebookexternalhit

Folge uns

Besucher

Ingesamt 2218 User besuchten unsere Website.

Connect