Перейти к содержимому
Все статьи

robots.txt, llms.txt и ИИ-краулеры: что настроить небольшому сайту

Автор: Команда Rastock AEOОпубликовано 6 мин чтения

Небольшому сайту стоит осознанно решить, каких ИИ-краулеров он допускает в robots.txt, используя официальные имена user-agent каждой компании, и убедиться, что ключевые факты есть в HTML, который отдаёт сервер. Файл llms.txt необязателен: это предложение сообщества, и Google Поиск сообщает, что его не использует.

ИИ-компании читают сайты с помощью автоматических программ, которые называются краулерами. Каждый краулер сообщает своё имя, так называемый user agent, и большинство из них, прежде чем что-либо читать, проверяют на вашем сайте текстовый файл robots.txt. В этом руководстве разобраны имена, которые имеют значение, безопасная стартовая настройка и две темы, вызывающие путаницу: llms.txt и JavaScript.

Три вида ИИ-краулеров

Крупные провайдеры разделяют своих краулеров по назначению. Это разделение важно, потому что блокировка одного вида даёт иной эффект, чем блокировка другого.

  • Краулеры для обучения собирают страницы, которые могут быть использованы для обучения будущих моделей. Их блокировка — это отказ от участия в обучении. Она не убирает вас из ИИ-поиска.
  • Поисковые краулеры строят индекс, по которому ассистент ищет, когда отвечает с результатами из интернета. Их блокировка может привести к тому, что ваших страниц не будет в таких ответах и в ссылках на источники.
  • Загрузчики по запросу пользователя заходят на страницу, потому что человек спросил о ней ассистента или вставил её адрес. Это не автоматический обход, и некоторые провайдеры сообщают, что правила robots.txt могут на них не распространяться.

Официальные имена user-agent

Эти имена взяты из собственной документации каждой компании и проверены в ноябре 2026 года. Время от времени они меняются, поэтому, прежде чем править рабочий файл, перейдите по ссылкам на источники.

КомпанияИмя в robots.txtНазначениеЧто сообщает компания
OpenAIGPTBotОбучениеЗапрет для него — сигнал, что ваш контент не следует использовать для обучения её моделей.
OpenAIOAI-SearchBotПоискСайты, которые отказались, не показываются в ответах поиска в ChatGPT, хотя могут по-прежнему появляться в виде простых навигационных ссылок.
OpenAIChatGPT-UserПо запросу пользователяНе используется для автоматического обхода. Правила robots.txt могут не применяться.
AnthropicClaudeBotОбучениеЕго блокировка исключает будущие материалы из наборов данных для обучения.
AnthropicClaude-SearchBotПоискЕго блокировка может снизить видимость и точность в результатах поиска Claude.
AnthropicClaude-UserПо запросу пользователяСоблюдает robots.txt. Его блокировка не даёт Claude загрузить вашу страницу для ответа на вопрос пользователя.
PerplexityPerplexityBotПоискИспользуется, чтобы показывать сайты в Perplexity и ссылаться на них. Не используется для обучения моделей.
PerplexityPerplexity-UserПо запросу пользователяКак правило, игнорирует robots.txt, потому что загрузку запросил человек.
GoogleGooglebotПоискНаполняет Google Поиск. Google сообщает, что её ИИ-функции опираются на индекс Поиска.
GoogleGoogle-ExtendedТолько управляющее имяНе отдельный краулер. Управляет обучением Gemini и граундингом в приложениях Gemini. На Google Поиск не влияет.

Два замечания. OpenAI также указывает OAI-AdsBot, который посещает только страницы, поданные как реклама в ChatGPT. А в публикациях Microsoft о Copilot отдельный ИИ-краулер не назван. В них к её краулеру обращаются как к Bingbot и используются теги на уровне страницы, о которых сказано ниже.

Пример robots.txt

Файл лежит в корне вашего домена, например https://example.com/robots.txt. Частый выбор для бизнеса, который хочет, чтобы его находили: разрешить поиск и доступ по запросу пользователя, отказаться от обучения. Это выглядит так:

# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Чтобы разрешить и обучение, удалите вторую группу. Чтобы закрыть краулеру только одну папку, замените / на путь, например /members/.

Подумайте, прежде чем добавлять Google-Extended в группу заблокированных. Google сообщает, что это имя охватывает и обучение Gemini, и граундинг в приложениях Gemini, поэтому его блокировка может также ограничить то, как приложение Gemini использует ваши страницы при ответах.

Чего robots.txt не может

  • Это просьба, а не замок. В руководстве Google сказано, что файл не может принудить к определённому поведению и что подчиняться ему или нет, решает каждый краулер. Закрытый контент размещайте за входом по логину.
  • Изменения не мгновенны. И OpenAI, и Perplexity сообщают, что их системам может потребоваться около 24 часов, чтобы учесть обновление.
  • Другие уровни могут блокировать незаметно. Файрвол, CDN или хостинг могут отказать ИИ-краулерам ещё до того, как они прочитают ваш файл. Спросите у провайдера, что у него настроено по умолчанию.
  • Блокировка по IP может обернуться против вас. Anthropic предупреждает, что она может вообще не дать краулеру прочитать ваш robots.txt.
  • Microsoft использует теги на странице. 30 октября 2026 года Bing объявил о новых настройках для обучения и граундинга, которые задаются метатегами, адресованными Bingbot, и сообщает, что они вступают в силу с 1 февраля 2027 года. Для этой цели они заменяют прежние теги noarchive и nocache.

Кроме того, в IETF готовится проект общего сигнала «без обучения ИИ» для robots.txt. Anthropic и Microsoft сообщают, что соблюдают или будут соблюдать его, а Google сообщает, что намерена поддержать его в начале 2027 года. Проект ещё может измениться, поэтому пока надёжным путём остаются правила с именами, приведённые выше.

Что такое llms.txt и каков его реальный статус

llms.txt — это предложение, опубликованное Джереми Ховардом в сентябре 2024 года. Оно предлагает разместить по адресу /llms.txt файл в формате Markdown с названием сайта, кратким описанием и списками ссылок на самые полезные страницы, желательно в чистом текстовом виде. Это путеводитель для ИИ-инструментов, а не правило доступа, поэтому он не заменяет robots.txt.

Но и мёртвым его назвать нельзя. OpenAI, Anthropic, команда Gemini в Google и Perplexity публикуют файлы llms.txt для собственной документации для разработчиков, а инструмент Lighthouse в Chrome теперь проверяет его наличие, называя это формирующейся практикой, которая пока необязательна. Практическая польза сегодня — помогать ассистентам для программирования и агентам читать документацию. Если у вашего сайта есть документация или API, добавить файл недорого. Для сайта местного бизнеса считайте это задачей с низким приоритетом.

Контент, который появляется только с JavaScript

Многие современные сайты отдают почти пустую страницу, а затем собирают контент в браузере посетителя с помощью JavaScript. Google умеет выполнять этот JavaScript — на отдельном этапе рендеринга, который может наступить позже. Но в собственной документации Google отмечено, что не все боты умеют выполнять JavaScript, и рекомендован рендеринг на стороне сервера или предварительный рендеринг.

На страницах OpenAI, Anthropic и Perplexity о краулерах не сказано, выполняют ли их краулеры скрипты. Безопаснее исходить из того, что могут и не выполнять. Для проверки откройте свою страницу, выберите «Просмотр кода страницы» и поищите свои цены, услуги и контактные данные. Если в исходном коде их нет, попросите разработчика рендерить их на сервере.

Разумная настройка для небольшого сайта

  1. 1Прочитайте свой текущий robots.txt и поищите старые правила, которые блокируют всё.
  2. 2Разрешите поисковые краулеры и загрузчики по запросу пользователя тех систем, которыми пользуются ваши клиенты.
  3. 3Примите решение о краулерах для обучения как бизнес-решение и в любом случае запишите правило.
  4. 4Спросите хостинг или CDN, не блокирует ли он ИИ-ботов по умолчанию.
  5. 5Убедитесь, что ключевые факты есть в исходном коде страницы, а не только добавляются через JavaScript.
  6. 6Добавляйте llms.txt, только если у вас есть документация, на которую стоит указать.
  7. 7Несколько раз в год перепроверяйте официальные страницы о краулерах.

Rastock AEO, который ещё в разработке, задуман для отслеживания того, как ответные системы описывают бизнес. Ничего из этого не работает, если краулеры не могут прочитать ваш сайт, поэтому эта настройка идёт первой.

Вопросы и ответы

Убирает ли блокировка GPTBot мой сайт из поиска в ChatGPT?
Нет. OpenAI сообщает, что каждая настройка независима: GPTBot относится к обучению, а OAI-SearchBot определяет, показывается ли сайт в ответах поиска в ChatGPT.
Нужен ли мне файл llms.txt?
Он необязателен. Это предложение сообщества, Google Поиск сообщает, что его не использует, и мы не нашли ни одной крупной системы, которая подтвердила бы, что он влияет на ответы. Полезнее всего он сайтам с документацией для разработчиков.
Все ли ИИ-боты соблюдают robots.txt?
Нет. Этот файл — просьба, которой следуют добросовестные краулеры. Perplexity сообщает, что её загрузчик по запросу пользователя, как правило, его игнорирует, а OpenAI сообщает, что правила могут не применяться к ChatGPT-User.
Увидят ли ИИ-краулеры контент, который мой сайт загружает через JavaScript?
Возможно, нет. Google рендерит JavaScript, но отмечает, что это умеют не все боты, а на страницах других крупных краулеров об этом не сказано. Размещайте важные факты в HTML, который отдаёт сервер.

Источники

  1. Overview of OpenAI Crawlers (OpenAI)
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
  3. Perplexity Crawlers (Perplexity)
  4. Google's common crawlers (Google for Developers)
  5. Optimizing your website for generative AI features on Google Search (Google Search Central)
  6. Robots.txt Introduction and Guide (Google Search Central)
  7. Understand the JavaScript SEO basics (Google Search Central)
  8. Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
  9. The /llms.txt file, v2 (llmstxt.org)
  10. llms.txt (Lighthouse, Chrome for Developers)
ПоделитьсяLinkedInX

Узнайте, что ИИ говорит о вашем бизнесе.

Получить ранний доступ

Другие статьи