Wie schützt ihr eure Webseite vor Crawlern von Sistrix, XOVI und Co.? Macht ihr das auch über die .htaccess und wenn ja, wie genau? Oder wählt ihr die Robots.txt?
1 Antwort
#1
24.11.2014 08:51 Uhr
OK... beantworte einen Teil meiner Frage mal selbst. Nehmt lieber die .htaccess, weil die robots.txt von manchen Bots auch mal gerne ignoriert wird.
Den genauen Inhalt der .htaccess versuche ich noch herauszufinden.