Nun ist es amtlich: Google Bot füllt Formulare und Suchschlitze aus und spidert die Ergebnisse dahinter. So soll das bisher unsichtbare Netz sichtbar werden.
Um das Verhalten der Web Crawler zu überprüfen, habe ich mir die Lösung von Crawltrack installiert. Damit lässt sich genau erkennen, welche Web Crawler sich wann auf der Domain tummeln und welche Seiten sie spidern.
Letzte Kommentare