maxime:openbsd:docs:robots.txt [mouet-mouet !]

maxime:openbsd:docs:robots.txt

site web officiel : http://www.robotstxt.org/ ;
Wikipedia : http://en.wikipedia.org/wiki/Robots_exclusion_standard / http://fr.wikipedia.org/wiki/Protocole_d'exclusion_des_robots ;
http://www.beussery.com/blog/index.php/2014/06/robots-txt-disallow-20/ ;
etc.

maxime/openbsd/docs/robots.txt.txt
Dernière modification : 2021/10/08 00:17
de 127.0.0.1