Une question en apparence simple revient souvent : devons-nous ajouter llms.txt pour que l’intelligence artificielle lise correctement notre site web — tout en l’empêchant d’utiliser notre contenu pour l’entraînement ? Il n’existe pas de réponse universelle. Trois notions différentes sont souvent confondues : l’accès des robots, la visibilité dans les moteurs de recherche et les indications destinées aux agents IA.
Il est plus important de les distinguer que de se concentrer sur le fichier lui-même. Sinon, nous risquons de bloquer un trafic souhaité sans obtenir la protection attendue.
Commencez par clarifier votre objectif
- Je veux que Google ou ChatGPT Search trouve la page. Il faut s’intéresser à l’indexation, au référencement naturel technique et aux règles propres au robot d’exploration concerné.
- Je ne veux pas fournir de contenu pour l’entraînement des modèles. Il faut agir sur le robot d’exploration utilisé pour l’entraînement et sur les conditions du service.
- Je veux proposer à un agent une carte concise de la documentation. C’est ici que
llms.txtpeut être utile. - Je veux protéger du contenu non public. Aucun fichier texte ne suffit. Vous avez besoin d’une authentification, d’une autorisation et de mesures de sécurité réelles.
Ces décisions sont techniquement indépendantes. Le robot d’exploration d’un moteur de recherche et celui utilisé pour l’entraînement peuvent avoir des noms et des règles différents.
Ce que llms.txt est — et n’est pas
LLMs.txt est une proposition de fichier Markdown simple placé à la racine d’un site web. Il fournit à un agent une brève description et des liens vers les sources importantes. Pour une documentation étendue, il peut s’agir d’un répertoire : produit, API, conditions d’utilisation et procédures courantes.
Ce n’est pas une politique d’accès. Il n’indique pas de manière faisant autorité qui peut utiliser le contenu pour l’entraînement, n’empêche pas le téléchargement d’une page et ne garantit pas une citation dans les résultats. Google précise explicitement qu’aucun fichier IA spécial n’est nécessaire pour ses fonctionnalités IA dans la recherche et que llms.txt n’ajoute rien à Google Search.
Sur un site d’entreprise, je le mettrais en place si nous pouvons maintenir une liste de sources courte, exacte et utile — pas comme un geste SEO vide de sens. Une carte obsolète est pire que l’absence de carte, car elle peut proposer des prix erronés, d’anciennes instructions ou des pages supprimées.
Robots.txt contrôle l’exploration, pas la confiance ni la sécurité
Le fichier robots.txt indique aux robots d’exploration coopératifs où ils peuvent ou non aller. Il est public, ses règles dépendent de l’agent utilisateur et il ne constitue pas un pare-feu contre un robot désobéissant.
Bloquer l’accès dans robots.txt n’est pas un moyen fiable de supprimer une URL d’un moteur de recherche. Google peut connaître l’adresse grâce à d’autres liens, même s’il ne peut pas en lire le contenu. Pour les données non publiques, utilisez une connexion. Pour une page qui ne doit pas apparaître dans les résultats, utilisez généralement noindex sur une URL explorable ou le code d’état approprié.
Il n’existe pas d’interrupteur unique pour tous les robots IA
OpenAI : la recherche et l’entraînement peuvent être décidés séparément
OpenAI documente des robots d’exploration distincts. OAI-SearchBot découvre le contenu pour la recherche ChatGPT, tandis que GPTBot concerne son éventuelle utilisation pour améliorer les modèles génératifs. Vous pouvez donc autoriser le premier et bloquer le second :
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /ChatGPT-User identifie une requête déclenchée par un utilisateur et ne permet pas l’inclusion dans les résultats de recherche. Consultez les conditions actuelles du fournisseur plutôt que de copier une ancienne liste d’agents utilisateurs.
Google : Search et Google-Extended ne sont pas la même chose
Selon la documentation Google Search, AI Overviews et AI Mode utilisent l’index de recherche et ses systèmes. L’accès de Googlebot influence donc la recherche ordinaire ainsi que l’éligibilité à ces fonctionnalités.
Google-Extended est un jeton de produit distinct, utilisé pour exploiter le contenu afin d’améliorer les modèles Gemini et pour l’ancrage dans certains produits. Google indique que son blocage n’affecte ni l’inclusion ni le classement dans Search. Il ne remplace pas les règles de Googlebot.
Les autres services ont leurs propres règles
Anthropic distingue ClaudeBot, Claude-SearchBot et le chargement initié par l’utilisateur. Perplexity décrit PerplexityBot pour son index de recherche. Les noms et les finalités peuvent changer. Tenez une liste des services importants et vérifiez-la par rapport à leur documentation officielle.
Comment je déciderais pour un site d’entreprise
- Notez l’objectif commercial. Est-ce que je veux du trafic organique, des citations, la protection de contenus payants, ou tout cela avec des règles différentes ?
- Vérifiez les fondations techniques. URLs canoniques, indexation, codes d’état, sitemap et liens internes. Aucun fichier spécial ne peut compenser des fondations absentes.
- Séparez les robots selon leur objectif. La recherche, l’entraînement et le chargement déclenché par l’utilisateur sont des catégories différentes.
- Sécurisez réellement les données non publiques. Les offres clients, l’administration et les documents internes ne sont pas protégés par le simple fait de donner des instructions à un robot.
- Ajoutez LLMs.txt uniquement avec un responsable du contenu. Quelqu’un doit veiller à ce que les liens et les descriptions restent exacts.
- Mesurez le résultat. Surveillez les journaux, la Search Console et les visites provenant de sources pertinentes ; l’existence du fichier ne constitue pas une optimisation achevée.
Si vous voulez devenir une source pour les réponses de l’IA, commencez par le contenu et les preuves plutôt que par un fichier placé à la racine du site. J’en parle dans Comment l’IA et Google choisissent leurs sources. Pour examiner les réglages des robots sans risquer votre trafic organique, utilisez la page de contact.