====== Introduction ======

====== Bibliographie ======

  * site web officiel : [[http://www.robotstxt.org/]] ;
  * Wikipedia : [[http://en.wikipedia.org/wiki/Robots_exclusion_standard]] / [[http://fr.wikipedia.org/wiki/Protocole_d'exclusion_des_robots]] ;
  * [[http://www.beussery.com/blog/index.php/2014/06/robots-txt-disallow-20/]] ;
  * etc.