Outil gratuit
Générateur de robots.txt pour les robots d’exploration IA.
Choisissez ce que chaque type de robot d’exploration IA peut faire. Le fichier se met à jour au fil de vos choix.
Partir de
Votre robots.txt
# Autorisé
User-agent: Google-Extended
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
# Bloqué
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Tous les autres, y compris Googlebot et Bingbot
User-agent: *
Allow: /
robots.txt est une demande, pas un verrou. Les robots respectueux des règles le suivent ; il ne protège pas les contenus privés.
Comment l’utiliser
- 1Enregistrez le texte sous le nom robots.txt.
- 2Placez-le à la racine de votre site, pour qu’il s’ouvre à l’adresse yourbusiness.com/robots.txt.
- 3Si vous avez déjà un robots.txt, fusionnez les groupes au lieu de remplacer le fichier.