robots.txt, llms.txt и ИИ-краулеры: что настроить небольшому сайту
Автор: Команда Rastock AEOОпубликовано 6 мин чтения
Небольшому сайту стоит осознанно решить, каких ИИ-краулеров он допускает в robots.txt, используя официальные имена user-agent каждой компании, и убедиться, что ключевые факты есть в HTML, который отдаёт сервер. Файл llms.txt необязателен: это предложение сообщества, и Google Поиск сообщает, что его не использует.
ИИ-компании читают сайты с помощью автоматических программ, которые называются краулерами. Каждый краулер сообщает своё имя, так называемый user agent, и большинство из них, прежде чем что-либо читать, проверяют на вашем сайте текстовый файл robots.txt. В этом руководстве разобраны имена, которые имеют значение, безопасная стартовая настройка и две темы, вызывающие путаницу: llms.txt и JavaScript.
Три вида ИИ-краулеров
Крупные провайдеры разделяют своих краулеров по назначению. Это разделение важно, потому что блокировка одного вида даёт иной эффект, чем блокировка другого.
- Краулеры для обучения собирают страницы, которые могут быть использованы для обучения будущих моделей. Их блокировка — это отказ от участия в обучении. Она не убирает вас из ИИ-поиска.
- Поисковые краулеры строят индекс, по которому ассистент ищет, когда отвечает с результатами из интернета. Их блокировка может привести к тому, что ваших страниц не будет в таких ответах и в ссылках на источники.
- Загрузчики по запросу пользователя заходят на страницу, потому что человек спросил о ней ассистента или вставил её адрес. Это не автоматический обход, и некоторые провайдеры сообщают, что правила
robots.txtмогут на них не распространяться.
Официальные имена user-agent
Эти имена взяты из собственной документации каждой компании и проверены в ноябре 2026 года. Время от времени они меняются, поэтому, прежде чем править рабочий файл, перейдите по ссылкам на источники.
| Компания | Имя в robots.txt | Назначение | Что сообщает компания |
|---|---|---|---|
| OpenAI | GPTBot | Обучение | Запрет для него — сигнал, что ваш контент не следует использовать для обучения её моделей. |
| OpenAI | OAI-SearchBot | Поиск | Сайты, которые отказались, не показываются в ответах поиска в ChatGPT, хотя могут по-прежнему появляться в виде простых навигационных ссылок. |
| OpenAI | ChatGPT-User | По запросу пользователя | Не используется для автоматического обхода. Правила robots.txt могут не применяться. |
| Anthropic | ClaudeBot | Обучение | Его блокировка исключает будущие материалы из наборов данных для обучения. |
| Anthropic | Claude-SearchBot | Поиск | Его блокировка может снизить видимость и точность в результатах поиска Claude. |
| Anthropic | Claude-User | По запросу пользователя | Соблюдает robots.txt. Его блокировка не даёт Claude загрузить вашу страницу для ответа на вопрос пользователя. |
| Perplexity | PerplexityBot | Поиск | Используется, чтобы показывать сайты в Perplexity и ссылаться на них. Не используется для обучения моделей. |
| Perplexity | Perplexity-User | По запросу пользователя | Как правило, игнорирует robots.txt, потому что загрузку запросил человек. |
Googlebot | Поиск | Наполняет Google Поиск. Google сообщает, что её ИИ-функции опираются на индекс Поиска. | |
Google-Extended | Только управляющее имя | Не отдельный краулер. Управляет обучением Gemini и граундингом в приложениях Gemini. На Google Поиск не влияет. |
Два замечания. OpenAI также указывает OAI-AdsBot, который посещает только страницы, поданные как реклама в ChatGPT. А в публикациях Microsoft о Copilot отдельный ИИ-краулер не назван. В них к её краулеру обращаются как к Bingbot и используются теги на уровне страницы, о которых сказано ниже.
Пример robots.txt
Файл лежит в корне вашего домена, например https://example.com/robots.txt. Частый выбор для бизнеса, который хочет, чтобы его находили: разрешить поиск и доступ по запросу пользователя, отказаться от обучения. Это выглядит так:
# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlЧтобы разрешить и обучение, удалите вторую группу. Чтобы закрыть краулеру только одну папку, замените / на путь, например /members/.
Подумайте, прежде чем добавлять Google-Extended в группу заблокированных. Google сообщает, что это имя охватывает и обучение Gemini, и граундинг в приложениях Gemini, поэтому его блокировка может также ограничить то, как приложение Gemini использует ваши страницы при ответах.
Чего robots.txt не может
- Это просьба, а не замок. В руководстве Google сказано, что файл не может принудить к определённому поведению и что подчиняться ему или нет, решает каждый краулер. Закрытый контент размещайте за входом по логину.
- Изменения не мгновенны. И OpenAI, и Perplexity сообщают, что их системам может потребоваться около 24 часов, чтобы учесть обновление.
- Другие уровни могут блокировать незаметно. Файрвол, CDN или хостинг могут отказать ИИ-краулерам ещё до того, как они прочитают ваш файл. Спросите у провайдера, что у него настроено по умолчанию.
- Блокировка по IP может обернуться против вас. Anthropic предупреждает, что она может вообще не дать краулеру прочитать ваш
robots.txt. - Microsoft использует теги на странице. 30 октября 2026 года Bing объявил о новых настройках для обучения и граундинга, которые задаются метатегами, адресованными Bingbot, и сообщает, что они вступают в силу с 1 февраля 2027 года. Для этой цели они заменяют прежние теги
noarchiveиnocache.
Кроме того, в IETF готовится проект общего сигнала «без обучения ИИ» для robots.txt. Anthropic и Microsoft сообщают, что соблюдают или будут соблюдать его, а Google сообщает, что намерена поддержать его в начале 2027 года. Проект ещё может измениться, поэтому пока надёжным путём остаются правила с именами, приведённые выше.
Что такое llms.txt и каков его реальный статус
llms.txt — это предложение, опубликованное Джереми Ховардом в сентябре 2024 года. Оно предлагает разместить по адресу /llms.txt файл в формате Markdown с названием сайта, кратким описанием и списками ссылок на самые полезные страницы, желательно в чистом текстовом виде. Это путеводитель для ИИ-инструментов, а не правило доступа, поэтому он не заменяет robots.txt.
Но и мёртвым его назвать нельзя. OpenAI, Anthropic, команда Gemini в Google и Perplexity публикуют файлы llms.txt для собственной документации для разработчиков, а инструмент Lighthouse в Chrome теперь проверяет его наличие, называя это формирующейся практикой, которая пока необязательна. Практическая польза сегодня — помогать ассистентам для программирования и агентам читать документацию. Если у вашего сайта есть документация или API, добавить файл недорого. Для сайта местного бизнеса считайте это задачей с низким приоритетом.
Контент, который появляется только с JavaScript
Многие современные сайты отдают почти пустую страницу, а затем собирают контент в браузере посетителя с помощью JavaScript. Google умеет выполнять этот JavaScript — на отдельном этапе рендеринга, который может наступить позже. Но в собственной документации Google отмечено, что не все боты умеют выполнять JavaScript, и рекомендован рендеринг на стороне сервера или предварительный рендеринг.
На страницах OpenAI, Anthropic и Perplexity о краулерах не сказано, выполняют ли их краулеры скрипты. Безопаснее исходить из того, что могут и не выполнять. Для проверки откройте свою страницу, выберите «Просмотр кода страницы» и поищите свои цены, услуги и контактные данные. Если в исходном коде их нет, попросите разработчика рендерить их на сервере.
Разумная настройка для небольшого сайта
- 1Прочитайте свой текущий
robots.txtи поищите старые правила, которые блокируют всё. - 2Разрешите поисковые краулеры и загрузчики по запросу пользователя тех систем, которыми пользуются ваши клиенты.
- 3Примите решение о краулерах для обучения как бизнес-решение и в любом случае запишите правило.
- 4Спросите хостинг или CDN, не блокирует ли он ИИ-ботов по умолчанию.
- 5Убедитесь, что ключевые факты есть в исходном коде страницы, а не только добавляются через JavaScript.
- 6Добавляйте
llms.txt, только если у вас есть документация, на которую стоит указать. - 7Несколько раз в год перепроверяйте официальные страницы о краулерах.
Rastock AEO, который ещё в разработке, задуман для отслеживания того, как ответные системы описывают бизнес. Ничего из этого не работает, если краулеры не могут прочитать ваш сайт, поэтому эта настройка идёт первой.
Вопросы и ответы
- Убирает ли блокировка GPTBot мой сайт из поиска в ChatGPT?
- Нет. OpenAI сообщает, что каждая настройка независима: GPTBot относится к обучению, а OAI-SearchBot определяет, показывается ли сайт в ответах поиска в ChatGPT.
- Нужен ли мне файл llms.txt?
- Он необязателен. Это предложение сообщества, Google Поиск сообщает, что его не использует, и мы не нашли ни одной крупной системы, которая подтвердила бы, что он влияет на ответы. Полезнее всего он сайтам с документацией для разработчиков.
- Все ли ИИ-боты соблюдают robots.txt?
- Нет. Этот файл — просьба, которой следуют добросовестные краулеры. Perplexity сообщает, что её загрузчик по запросу пользователя, как правило, его игнорирует, а OpenAI сообщает, что правила могут не применяться к ChatGPT-User.
- Увидят ли ИИ-краулеры контент, который мой сайт загружает через JavaScript?
- Возможно, нет. Google рендерит JavaScript, но отмечает, что это умеют не все боты, а на страницах других крупных краулеров об этом не сказано. Размещайте важные факты в HTML, который отдаёт сервер.
Источники
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
- Perplexity Crawlers (Perplexity)
- Google's common crawlers (Google for Developers)
- Optimizing your website for generative AI features on Google Search (Google Search Central)
- Robots.txt Introduction and Guide (Google Search Central)
- Understand the JavaScript SEO basics (Google Search Central)
- Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
- The /llms.txt file, v2 (llmstxt.org)
- llms.txt (Lighthouse, Chrome for Developers)
Узнайте, что ИИ говорит о вашем бизнесе.
Получить ранний доступДругие статьи
Что такое оптимизация под ответные системы (AEO)?
Простое руководство по оптимизации под ответные системы: что это за системы, как AEO связана с SEO, на что вы можете повлиять, на что нет и с чего начать.
Почему один ответ ИИ — это не измерение
Ответы ИИ меняются от запуска к запуску, от формулировки, места и версии модели. Почему один скриншот мало что доказывает и как честно собирать выборку ответов.