Computerbeveiliging - Hoe je bad guys buiten de deur houdt

Robots

14-02-2013, 13:39 door sanpedro, 5 reacties
Hallo

Wellicht weten jullie wat het is: Robots.txt

Om er voor te zorgen dat bepaalde pagina's niet worden gevonden door zoek machine
dus geheim?

Maar als je naar site gaat: site.com/robots.txt zie je een lijst met bestanden.

Dus is robots.txt gevaarlijk?

Groet,
San Pedro
Reacties (5)
14-02-2013, 13:51 door SirDice
Door sanpedro: Om er voor te zorgen dat bepaalde pagina's niet worden gevonden door zoek machine dus geheim?
Nee, het geeft aan wat er wel en niet geïndexeerd hoeft te worden. Meer niet.

Despite the use of the terms "allow" and "disallow", the protocol is purely advisory. It relies on the cooperation of the web robot, so that marking an area of a site out of bounds with robots.txt does not guarantee exclusion of all web robots. In particular, malicious web robots are unlikely to honor robots.txt.
http://en.wikipedia.org/wiki/Robots_exclusion_standard
14-02-2013, 14:23 door sanpedro
Door SirDice:
Door sanpedro: Om er voor te zorgen dat bepaalde pagina's niet worden gevonden door zoek machine dus geheim?
Nee, het geeft aan wat er wel en niet geïndexeerd hoeft te worden. Meer niet.

Despite the use of the terms "allow" and "disallow", the protocol is purely advisory. It relies on the cooperation of the web robot, so that marking an area of a site out of bounds with robots.txt does not guarantee exclusion of all web robots. In particular, malicious web robots are unlikely to honor robots.txt.
http://en.wikipedia.org/wiki/Robots_exclusion_standard

Bedankt!
14-02-2013, 18:50 door TestingSoftware
Nederlandse versie: http://nl.wikipedia.org/wiki/Robots_Exclusion_Protocol
15-02-2013, 10:02 door Anoniem
Ik zag gisteren toevallig iets wat ik niet eerder gezien had: als ik zoek met google naar een bestand wat op
onze site staat in een directory die in robots.txt als disallowed staat (gezocht met een onderdeel van de naam)
dan krijg ik een zoekresultaat waar dat bestand als link staat met daaronder de tekst:

Er is geen beschrijving beschikbaar voor dit resultaat vanwege robots.txt – meer informatie.

Daar was ik toch wel even verbaasd over. Ik had altijd het idee dat in robots.txt disallowed gebieden gewoon
helemaal niet zouden worden opgenomen in de index, maar dat is kennelijk niet (meer) zo...
15-02-2013, 10:33 door Neusbeer
robots.txt wordt als eerstes gechecked door hackers/pentesters.
want, wat niet geindexeerd mag worden, kan waardevol zijn voor bovengenoemde.
zo kan er gemakkelijk gezien worden wat voor cms systeem het is bijv.
(joomla,wordpress,enz).
admin pagina's enz.

dus ja kan gevaarlijk zijn.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.

Zoeken
search
Certified Secure