Tout sur le Net Bienvenue au Soutien du Net!
Les Robots
Les règles

Prologue:
Les robots WWW (aussi appelés Spiders, Crawlers ou Wanderers) sont des programmes qui traversent les pages du World Wide Web de manière recursive.
En 1993 et 1994 il y a eu des circonstances durant lesquelles les robots ont visitées des pages alors qu´ils n´étaient pas les bienvenus pour diverses raisons. Souvent ces raisons étaient spécifiques aux robots; p.e. les robots submergeaient les serveurs avec leurs quêtes "Rapid-Fire", ou ils récupèraient les mêmes pages plusieurs fois. Dans d´autres situations ils traversaient des parties de serveurs WWW de manière inappropriée; p.e. des arborescences virtuelles trés profondes, redondance d´informations, des informations temporaires, ou des scripts cgi avec effets secondaires (comme p.e. des votes).

Ces incidents indiquaient donc la nécessité de mécanismes pour les serveurs WWW qui indiquent aux robots quelle partie de leurs serveurs ne devraient pas être accessibles.
La méthode:
La méthode pour exclure les robots d´un serveur consiste à créer un fichier sur le serveur spécifiant des règles d´accès pour robots. Ce fichier doit être accessible par le HTTP sur l´URL "/robots.txt". Le contenu de ce fichier est expliqué par la suite.
Ce choix fut pris parce-qu´il peut être facilement implémenter sur tous serveurs WWW existants, et un robot peut trouver les règles d´accès avec uniquement un seul fichier.
Le choix de l´URL fut motivé par les critères suivants:
Le format:
Le format et la sémantique du fichier "/robots.txt" sont les suivants: La présence d´un fichier robots.txt vide n´a aucune sémantique associée, il sera traité comme étant inexistant; ceux qui sera bien vu par tous les robots.
Exemples: