Door Anoniem: Hoe komt de googlebot op die pagina's? Ze worden niet gelinkt, normaal gesproken. Gaat googlebot dan ook brute-force ip's af op zoek naar httpservers? Ik vroeg me dat ook een keer af, toen Google ineens begon om allerlei rare subdomeinen op ons domein te gaan doorzoeken. Ik heb het uitgezocht en het blijkt dat er rare snuiters zijn die sites maken waarop ze (dynamisch gegenereerd) allerlei random domeinnamen en hele reeksen IP adressen neerzetten. Vroeger kon je bijv zoeken naar een IP adres om te kijken of dat wellicht ergens negatief bekend stond, tegenwoordig krijg je dan hele pagina's vol met hits van dat soort sites waar alleen maar alle mogelijke IP adressen opgesomd staan zonder verder iets erbij (behalve advertentie geneuzel). En als je zoekt op een domeinnaam dan kom je op pagina's terecht die "domeinnamen die hier op lijken" vermelden waar dan jouw domein wellicht tussen staat, en dan ook allerlei subdomeinen daarvan. Google komt deze rotzooi uiteraard ook tegen, en gaat deze ...