robots.txt, llms.txt et robots d’exploration IA : ce qu’un petit site doit mettre en place
Par L’équipe Rastock AEOPublié le 6 min de lecture
Un petit site doit décider en connaissance de cause quels robots d’exploration IA il autorise dans robots.txt, en utilisant les noms de user-agent officiels de chaque entreprise, et s’assurer que ses faits essentiels figurent dans le HTML envoyé par le serveur. Un fichier llms.txt est facultatif : c’est une proposition communautaire, et Google Search indique ne pas l’utiliser.
Les entreprises d’IA lisent les sites web à l’aide de programmes automatisés appelés robots d’exploration. Chaque robot annonce un nom, appelé user-agent, et la plupart consultent un fichier texte de votre site nommé robots.txt avant de lire quoi que ce soit. Ce guide présente les noms qui comptent, une configuration de départ sûre et deux sujets qui prêtent à confusion : llms.txt et JavaScript.
Trois types de robots d’exploration IA
Les grands fournisseurs répartissent leurs robots selon leur finalité. Cette répartition compte, car bloquer un type n’a pas le même effet qu’en bloquer un autre.
- Les robots d’entraînement collectent des pages susceptibles de servir à entraîner de futurs modèles. Les bloquer revient à refuser l’entraînement. Cela ne vous retire pas de la recherche IA.
- Les robots de recherche constituent l’index qu’un assistant interroge lorsqu’il répond avec des résultats web. Les bloquer peut tenir vos pages à l’écart de ces réponses et de leurs liens vers les sources.
- Les robots de récupération déclenchés par l’utilisateur visitent une page parce qu’une personne a interrogé l’assistant à son sujet ou a collé son adresse. Il ne s’agit pas d’exploration automatique, et certains fournisseurs indiquent que les règles de
robots.txtpeuvent ne pas s’appliquer à eux.
Les noms de user-agent officiels
Ces noms proviennent de la documentation de chaque entreprise, vérifiée en novembre 2026. Ils changent de temps à autre : suivez donc les liens vers les sources avant de modifier un fichier en production.
| Entreprise | Nom dans robots.txt | Finalité | Ce que dit l’entreprise |
|---|---|---|---|
| OpenAI | GPTBot | Entraînement | L’interdire signale que votre contenu ne doit pas servir à entraîner ses modèles. |
| OpenAI | OAI-SearchBot | Recherche | Les sites qui le refusent ne sont pas affichés dans les réponses de ChatGPT search, mais ils peuvent encore apparaître sous forme de simples liens de navigation. |
| OpenAI | ChatGPT-User | Déclenché par l’utilisateur | Non utilisé pour l’exploration automatique. Les règles de robots.txt peuvent ne pas s’appliquer. |
| Anthropic | ClaudeBot | Entraînement | Le bloquer exclut les contenus futurs des jeux de données d’entraînement. |
| Anthropic | Claude-SearchBot | Recherche | Le bloquer peut réduire la visibilité et l’exactitude dans les résultats de recherche de Claude. |
| Anthropic | Claude-User | Déclenché par l’utilisateur | Respecte robots.txt. Le bloquer empêche Claude de récupérer votre page pour la question d’un utilisateur. |
| Perplexity | PerplexityBot | Recherche | Sert à faire apparaître les sites dans Perplexity et à y renvoyer par un lien. Non utilisé pour l’entraînement de modèles. |
| Perplexity | Perplexity-User | Déclenché par l’utilisateur | Ignore généralement robots.txt, car la récupération a été demandée par une personne. |
Googlebot | Recherche | Alimente Google Search. Google indique que ses fonctionnalités d’IA s’appuient sur l’index de Search. | |
Google-Extended | Nom de contrôle uniquement | Ce n’est pas un robot distinct. Contrôle l’entraînement de Gemini et l’ancrage dans les applications Gemini. Sans effet sur Google Search. |
Deux remarques. OpenAI mentionne aussi OAI-AdsBot, qui ne visite que les pages soumises comme annonces sur ChatGPT. Par ailleurs, les publications de Microsoft sur Copilot ne nomment pas de robot d’exploration IA distinct. Elles désignent son robot sous le nom de Bingbot et utilisent des balises au niveau de la page, présentées plus bas.
Un exemple de robots.txt
Le fichier se trouve à la racine de votre domaine, par exemple https://example.com/robots.txt. Un choix courant pour une entreprise qui souhaite être trouvée : autoriser la recherche et l’accès déclenché par l’utilisateur, refuser l’entraînement. Cela donne ceci :
# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlPour autoriser aussi l’entraînement, supprimez le deuxième groupe. Pour bloquer un robot dans un seul dossier, remplacez / par un chemin tel que /members/.
Réfléchissez avant d’ajouter Google-Extended au groupe bloqué. Google indique que ce nom couvre à la fois l’entraînement de Gemini et l’ancrage dans les applications Gemini : le bloquer peut donc aussi limiter la façon dont l’application Gemini utilise vos pages lorsqu’elle répond.
Ce que robots.txt ne peut pas faire
- C’est une demande, pas un verrou. Le guide de Google indique que le fichier ne peut imposer aucun comportement et qu’il appartient à chaque robot d’y obéir. Placez les contenus privés derrière une connexion.
- Les changements ne sont pas instantanés. OpenAI et Perplexity indiquent tous deux que leurs systèmes peuvent mettre environ 24 heures à prendre en compte une mise à jour.
- D’autres couches peuvent bloquer en silence. Un pare-feu, un CDN ou un hébergeur peut refuser les robots d’exploration IA avant même qu’ils ne lisent votre fichier. Demandez à votre prestataire quel est son réglage par défaut.
- Le blocage par adresse IP peut se retourner contre vous. Anthropic avertit qu’il peut empêcher complètement le robot de lire votre
robots.txt. - Microsoft utilise des balises de page. Bing a annoncé le 30 octobre 2026 de nouvelles préférences d’entraînement et d’ancrage, définies par des balises meta adressées à Bingbot, et indique qu’elles prennent effet à partir du 1er février 2027. Elles remplacent, pour cet usage, les anciennes balises
noarchiveetnocache.
Un signal commun « pas d’entraînement d’IA » pour robots.txt est également en cours de rédaction à l’IETF. Anthropic et Microsoft disent le respecter ou qu’ils le respecteront, et Google dit avoir l’intention de le prendre en charge début 2027. Le projet peut encore évoluer : les règles nommées ci-dessus restent donc, pour l’instant, la voie fiable.
Ce qu’est llms.txt, et son statut réel
llms.txt est une proposition publiée par Jeremy Howard en septembre 2024. Elle suggère de placer à l’adresse /llms.txt un fichier Markdown contenant le nom de votre site, un court résumé et des listes de liens vers vos pages les plus utiles, idéalement dans une version texte épurée. C’est un guide destiné aux outils d’IA, pas une règle d’accès : il ne remplace donc pas robots.txt.
Il n’est pas mort pour autant. OpenAI, Anthropic, l’équipe Gemini de Google et Perplexity publient des fichiers llms.txt pour leur propre documentation destinée aux développeurs, et l’outil Lighthouse de Chrome vérifie désormais sa présence, en le qualifiant de convention émergente, facultative pour l’instant. L’usage concret, aujourd’hui, est d’aider les assistants de programmation et les agents à lire de la documentation. Si votre site comporte une documentation ou une API, le fichier coûte peu à ajouter. Pour le site d’une entreprise locale, considérez-le comme peu prioritaire.
Le contenu qui n’apparaît qu’avec JavaScript
De nombreux sites modernes envoient une page presque vide, puis construisent le contenu dans le navigateur du visiteur avec JavaScript. Google peut exécuter ce JavaScript, lors d’une étape de rendu distincte qui peut intervenir plus tard. Mais la documentation de Google elle-même souligne que tous les robots ne savent pas exécuter JavaScript, et recommande le rendu côté serveur ou le pré-rendu.
Les pages d’OpenAI, d’Anthropic et de Perplexity consacrées à leurs robots d’exploration ne précisent pas si ces robots exécutent les scripts. L’hypothèse prudente est qu’ils ne le font peut-être pas. Pour vérifier, ouvrez votre page, choisissez « Afficher le code source de la page » et recherchez vos prix, vos services et vos coordonnées. S’ils sont absents du code source, demandez à votre développeur de les générer côté serveur.
Une configuration raisonnable pour un petit site
- 1Lisez votre
robots.txtactuel et repérez les anciennes règles qui bloquent tout. - 2Autorisez les robots de recherche et les robots de récupération déclenchés par l’utilisateur des moteurs que vos clients utilisent.
- 3Tranchez la question des robots d’entraînement comme un choix d’entreprise, et écrivez la règle dans un sens ou dans l’autre.
- 4Demandez à votre hébergeur ou à votre CDN s’il bloque par défaut les robots IA.
- 5Vérifiez que vos faits essentiels figurent dans le code source de la page, et ne sont pas seulement ajoutés par JavaScript.
- 6N’ajoutez
llms.txtque si vous disposez d’une documentation qui mérite d’être signalée. - 7Revérifiez les pages officielles sur les robots d’exploration plusieurs fois par an.
Rastock AEO, encore en développement, a pour objet de suivre la façon dont les moteurs de réponse décrivent une entreprise. Rien de cela ne fonctionne si les robots d’exploration ne peuvent pas lire votre site : cette configuration passe donc en premier.
Questions et réponses
- Bloquer GPTBot retire-t-il mon site de ChatGPT search ?
- Non. OpenAI indique que chaque réglage est indépendant : GPTBot concerne l’entraînement, et OAI-SearchBot détermine si un site est affiché dans les réponses de ChatGPT search.
- Ai-je besoin d’un fichier llms.txt ?
- Il est facultatif. C’est une proposition communautaire, Google Search indique ne pas l’utiliser, et nous n’avons trouvé aucun grand moteur confirmant qu’il influe sur les réponses. Il est surtout utile aux sites dotés d’une documentation pour développeurs.
- Tous les robots IA obéissent-ils à robots.txt ?
- Non. Le fichier est une demande que suivent les robots respectueux des règles. Perplexity indique que son robot de récupération déclenché par l’utilisateur l’ignore généralement, et OpenAI indique que les règles peuvent ne pas s’appliquer à ChatGPT-User.
- Les robots d’exploration IA verront-ils le contenu que mon site charge avec JavaScript ?
- Peut-être pas. Google effectue le rendu de JavaScript mais note que tous les robots n’en sont pas capables, et les pages des autres grands robots d’exploration ne le précisent pas. Placez les faits importants dans le HTML envoyé par le serveur.
Sources
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
- Perplexity Crawlers (Perplexity)
- Google's common crawlers (Google for Developers)
- Optimizing your website for generative AI features on Google Search (Google Search Central)
- Robots.txt Introduction and Guide (Google Search Central)
- Understand the JavaScript SEO basics (Google Search Central)
- Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
- The /llms.txt file, v2 (llmstxt.org)
- llms.txt (Lighthouse, Chrome for Developers)
Découvrez ce que l’IA dit de votre entreprise.
Obtenir l’accès anticipéAutres articles
Qu’est-ce que l’optimisation pour les moteurs de réponse (AEO) ?
Guide clair de l’optimisation pour les moteurs de réponse : ce qu’ils sont, le lien entre AEO et SEO, ce que vous pouvez influencer ou non, et par où commencer.
Pourquoi une seule réponse d’IA n’est pas une mesure
Les réponses des IA varient selon l’exécution, la formulation, le lieu et la version du modèle. Une capture d’écran prouve peu ; voici comment échantillonner.