Je hebt een klacht over de onderstaande posting:
Bizar dat de rechter het robots.txt bestand zo interpreteert. Het is niet meer dan een bordje “Crawlers worden verzocht hier niet te komen”. De man is geen crawler. En al was hij een crawler dan is het nog niet verboden om de pagina te bezoeken. Robots.txt is ook nooit bedoelt om pagina’s uit de zoekmachine te verwijderen. Dit is van de Google Search Console Help pagina: “You should not use robots.txt as a means to hide your web pages from Google Search results.”
Beschrijf je klacht (Optioneel):