Googlebot bei der Arbeit beobachten

Konnte ich gerade bei mir testen, klappt super.

Sehr spannend .... :-)

Falls es zu Lastproblemen auf euren Servern kommt, kann unter Umständen der GoogleBot schuld sein. :-/

Über die WebmasterTools von Google lässt sich einstellen, wie oft Google die Seite crawlen soll! Bei der Einstellung ist natürlich Vorsicht geboten, damit man nicht aus den Suchergebnissen fliegt!

Allgemein ist

tail -f /var/www/pfad/zu/den/logs/access_log

sehr gut im die Aktivität auf dem eigenen Server zu beobachten, um z.B. das von michael angesprochene Lastproblem zu lösen.

Bei mir war es die letzten Tage der http://ahrefs.com/robot/, der wild gecrawlt hat und meine Server-Load jenseits der 30 getrieben hat.

Mit tail -f habe ich ihn erkannt und anhand der IP gebannt :)

Da ich viele Projekte mit Wordpress realisiere, benutze ich u. a. Visitor Maps (http://wordpress.org/extend/plugins/visitor-maps/). Zeigt schön an, welche Seiten sich die Bots und Onlineuser gerade anschauen. Liefert auch ne kleine Statistik mit fürs Dashboard. Auch die IP der Bots wird angezeigt. Nettes Tool!