Бесплатный инструмент
Генератор robots.txt для ИИ-краулеров.
Выберите, что разрешено каждому типу ИИ-краулеров. Файл обновляется по мере выбора.
Начать с варианта
Ваш robots.txt
# Разрешено
User-agent: Google-Extended
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
# Заблокировано
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Все остальные, включая Googlebot и Bingbot
User-agent: *
Allow: /
robots.txt — это просьба, а не замок. Добросовестные краулеры его соблюдают; закрытый контент он не защищает.
Как использовать
- 1Сохраните текст в файл robots.txt.
- 2Разместите его в корне сайта, чтобы он открывался по адресу yourbusiness.com/robots.txt.
- 3Если robots.txt у вас уже есть, объедините группы правил, а не заменяйте файл.