Je hebt een klacht over de onderstaande posting:
Door Anoniem http://www.robotstxt.org/wc/robots.html Tja, als mensen tegenwoordig nog niet de moeite nemen om een robots.txt te maken of .htaccess dan verdienen ze het om gewoon lang en breed op google vermeld te worden. Ligt niet aan google, dat ligt aan die loser webmasters die zichzelf een expert vinden met hun automatische tooltjes. Bij mij zijn alle sites met een robots.txt uitgerust. Helaas zie je toch zoekmachines die zich niet houden aan bijv. DISALLOW: cgi-bin ze gaan er gewoon in en zoeken op alle scripts.
Beschrijf je klacht (Optioneel):