Slurp! revisited

Zumindestens scheint Slurp! mittlerweile doch auf die robots.txt zu hören. Nachdem dem Eintragen der robots.txt ist der Bandbreitenverbrauch doch erheblich runtergegangen:

Ich kann nur jedem empfehlen folgende Zeilen in die robots.txt einzufügen:

User-agent: Slurp
Crawl-delay: 60

Und ich hatte mich schon gefragt, warum das gzipen des Traffics nichts gebracht hat …