Aller au contenu

Outil gratuit

Générateur de robots.txt pour les robots d’exploration IA.

Choisissez ce que chaque type de robot d’exploration IA peut faire. Le fichier se met à jour au fil de vos choix.

Partir de

Entraînement de modèles

Collecte des pages susceptibles de servir à l’entraînement de modèles.

  • GPTBotOpenAI
  • ClaudeBotAnthropic
  • Google-ExtendedGoogle

Bloquer Google-Extended limite aussi l’ancrage dans les applications Gemini, pas seulement l’entraînement. Cela n’a aucun effet sur la recherche Google.

Recherche IA

Constitue l’index que les réponses IA consultent et citent.

  • OAI-SearchBotOpenAI
  • Claude-SearchBotAnthropic
  • PerplexityBotPerplexity
Déclenché par l’utilisateur

Récupère une page lorsqu’une personne interroge l’assistant à son sujet.

  • ChatGPT-UserOpenAI
  • Claude-UserAnthropic
  • Perplexity-UserPerplexity

OpenAI et Perplexity indiquent que robots.txt peut ne pas s’appliquer à leurs agents de récupération déclenchés par l’utilisateur.

Votre robots.txt

# Autorisé
User-agent: Google-Extended
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /

# Bloqué
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Tous les autres, y compris Googlebot et Bingbot
User-agent: *
Allow: /

robots.txt est une demande, pas un verrou. Les robots respectueux des règles le suivent ; il ne protège pas les contenus privés.

Comment l’utiliser

  1. 1Enregistrez le texte sous le nom robots.txt.
  2. 2Placez-le à la racine de votre site, pour qu’il s’ouvre à l’adresse yourbusiness.com/robots.txt.
  3. 3Si vous avez déjà un robots.txt, fusionnez les groupes au lieu de remplacer le fichier.
Après l’avoir publié, vérifiez le résultatL’IA peut-elle lire votre site ?