Introduction

Bibliographie

site web officiel : http://www.robotstxt.org/ ;
Wikipedia : http://en.wikipedia.org/wiki/Robots_exclusion_standard / http://fr.wikipedia.org/wiki/Protocole_d'exclusion_des_robots ;
http://www.beussery.com/blog/index.php/2014/06/robots-txt-disallow-20/ ;
etc.