En bref : robots.txt est un fichier texte placé à la racine de l’hôte, grâce auquel un site indique aux robots pris en charge quels chemins ils peuvent parcourir. Ce n’est pas un outil fiable pour supprimer des URL d’un index.
Comment j’utilise robots.txt en pratique
En pratique, je n’utilise pas le terme robots.txt comme un chiffre de plus pour une présentation. Je détermine d’abord quelle décision il doit préciser, sur quelles données ou observations il repose et qui changera quelque chose en fonction du résultat. Je vérifie le fichier réel sur chaque hôte, les règles applicables à un agent utilisateur donné et si le blocage empêche la récupération du contenu ou de la directive noindex. J’enregistre également la référence initiale, la date de mesure et les limites d’interprétation. Il devient ainsi possible de distinguer plus tard un véritable changement d’une modification de l’outil, de l’échantillon ou de la formulation de la requête.
Points de vigilance
Le plus grand risque est une précision seulement apparente. Une URL bloquée peut malgré tout apparaître dans les résultats, sans extrait, car le robot ne lit pas sa directive noindex ni sa réponse de statut. Je compare donc le résultat dans le temps, sur un échantillon stable et avec le contexte commercial. Si le terme ne mène pas à une prochaine étape concrète, il n’a pas produit une analyse, seulement une nouvelle étiquette.
Questions pour la prise de décision
- À quel robot la règle s’applique-t-elle ?
- Bloque-t-elle des fichiers CSS, JavaScript ou des pages importants ?
- L’URL ne doit-elle pas être explorée, ou réellement ne pas être indexée ?
- Le fichier indique-t-il le bon sitemap ?