Zelf maak ik gebruik van de robots.txt
Maak gebruik van het robots.txt-bestand op uw webserver. Aan de hand van dit bestand kunnen crawlers bepalen welke directory's kunnen worden gecrawld. Zorg ervoor dat het robots.txt-bestand actueel blijft, zodat u Googlebot niet onbedoeld blokkeert. Ga naar http://www.robotstxt.org/faq.html voor meer informatie over de manier waarop u robots kunt instrueren bij hun bezoek aan uw site. U kunt het robots.txt-bestand testen met het robots.txt-analysehulpprogramma van de Webmasterhulpprogramma's van Google om te controleren of u het correct gebruikt.