Wie schützt ihre eure Seite vor bösen Crawlern?

19.11.2014 11:33 Uhr

Wie schützt ihr eure Webseite vor Crawlern von Sistrix, XOVI und Co.? Macht ihr das auch über die .htaccess und wenn ja, wie genau? Oder wählt ihr die Robots.txt?

1 Antwort

#1

24.11.2014 08:51 Uhr

OK... beantworte einen Teil meiner Frage mal selbst. Nehmt lieber die .htaccess, weil die robots.txt von manchen Bots auch mal gerne ignoriert wird.

Den genauen Inhalt der .htaccess versuche ich noch herauszufinden.

 

Ähnliche Fragen



Datenschutzerklärung · Impressum