Перейти к содержимому

Бесплатный инструмент

Генератор robots.txt для ИИ-краулеров.

Выберите, что разрешено каждому типу ИИ-краулеров. Файл обновляется по мере выбора.

Начать с варианта

Обучение моделей

Собирает страницы, которые могут использоваться для обучения моделей.

  • GPTBotOpenAI
  • ClaudeBotAnthropic
  • Google-ExtendedGoogle

Блокировка Google-Extended ограничивает не только обучение, но и использование вашего контента как основы для ответов в приложениях Gemini. На Google Поиск она не влияет.

ИИ-поиск

Строит индекс, в котором ИИ-ответы ищут и из которого цитируют.

  • OAI-SearchBotOpenAI
  • Claude-SearchBotAnthropic
  • PerplexityBotPerplexity
По запросу пользователя

Загружает страницу, когда человек спрашивает о ней ассистента.

  • ChatGPT-UserOpenAI
  • Claude-UserAnthropic
  • Perplexity-UserPerplexity

OpenAI и Perplexity сообщают, что robots.txt может не применяться к их ботам, которые загружают страницы по запросу пользователя.

Ваш robots.txt

# Разрешено
User-agent: Google-Extended
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /

# Заблокировано
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Все остальные, включая Googlebot и Bingbot
User-agent: *
Allow: /

robots.txt — это просьба, а не замок. Добросовестные краулеры его соблюдают; закрытый контент он не защищает.

Как использовать

  1. 1Сохраните текст в файл robots.txt.
  2. 2Разместите его в корне сайта, чтобы он открывался по адресу yourbusiness.com/robots.txt.
  3. 3Если robots.txt у вас уже есть, объедините группы правил, а не заменяйте файл.
После публикации проверьте результатМожет ли ИИ прочитать ваш сайт?