Logo
Service de référencement professionnel Formation en référencement :: Les principaux obstacles au référencement Toute l'actualité relative au référencement et au positionnement stratégique Vous êtes dans la section du lexique sur le référencement Les ressources utiles en matière de référencement Pour tout savoir à propos de l'agence de référencement Le moteur de recherche interne de Abacus Référencement

Qu'est-ce que le fichier robots.txt ?

Le fichier robots.txt est un document texte résidant au niveau racine d'un site web. Ce document est utilisé pour contrôler l'accès des spiders aux documents d'un site. Certains documents, comme les statistiques du site, ou bien des parties du site en construction, peuvent ainsi demeurer privées. Il est très important de ne pas permettre aux robots d'accéder à certaines sections si elles incluent du contenu identique ou similaire à d'autres sections. La pénalité que certains moteurs infligent à ce type de situation peut nuire au référencement.

Quand certains spiders se connectent à un site, il vérifient la présence de ce fichier. Seulement les spiders qui adhèrent au Robots Exclusion Standard se conforment aux commandes qui y sont inscrites. C'est le cas des moteurs de recherche majeurs.




En savoir plus sur le fichier robots.txt
(À l'aide du moteur de recherche interne)




Voir aussi : Spider  |  Index  |  Moteur de recherche  |  Référencement







© Abacus Référencement

Conditions d'utilisation.
Retour en haut de la page Abacus Référencement.











Retour à l'accueil du lexique
Le lexique complet du référencement
A B C D
E F G H
I J K L
M N O P
Q R S T
U V W Acunne définition débutant par "X"
Y Z