Перейти к содержимому
Все статьи

Почему один ответ ИИ — это не измерение

Автор: Команда Rastock AEOОпубликовано 6 мин чтения

Один ответ ИИ — это единичная выборка из системы, которая на один и тот же вопрос отвечает по-разному, поэтому он не показывает, как система обычно описывает ваш бизнес. Для измерения нужны постоянный набор вопросов, повторные запуски, сохранённые ответы и сравнение сопоставимого с сопоставимым во времени.

Кто-то из вашей команды просит ChatGPT назвать лучшего поставщика услуг в вашей области, видит ваше название и рассылает скриншот по офису. Через неделю клиент спрашивает то же самое и получает список без вас. Никто из них не ошибается. Каждый увидел один ответ из множества возможных.

Почему на один и тот же вопрос приходят разные ответы

Страница результатов поиска довольно стабильна. Ответ ИИ каждый раз пишется заново, и изменить его могут несколько вещей.

  • Встроенная случайность. Языковые модели выбирают слова с долей случайности. В документации Anthropic сказано, что даже при самой консервативной настройке одинаковые входные данные всё равно могут дать разные результаты.
  • Формулировка. «Лучший бухгалтер в Лидсе» и «к кому обратиться по налогам малого бизнеса в Лидсе» — для человека одна и та же потребность, но списки могут получиться разными.
  • Поиск в реальном времени. Когда система ищет в интернете, ответ зависит от того, какие страницы она нашла в этот раз. По описанию Google, её ИИ-функции выполняют набор связанных поисковых запросов за одним вопросом, поэтому круг страниц-источников может различаться от вопроса к вопросу.
  • Местоположение. OpenAI сообщает, что поиск в ChatGPT использует общие сведения о местоположении по IP-адресу, чтобы улучшать результаты. На вопрос, заданный в другом городе или стране, ответ может быть другим.
  • Версия модели. Провайдеры заменяют и обновляют свои модели. Весенний ответ мог быть получен от другой модели, чем сегодняшний, а бесплатный и платный тарифы могут использовать разные модели.
  • Личный контекст. Некоторые ассистенты могут опираться на прежние разговоры или сохранённые предпочтения. Аккаунт, в котором вашу компанию уже обсуждали, — не нейтральный наблюдатель.

Что доказывает один скриншот

Скриншот доказывает, что такой ответ был возможен — один раз, для этого аккаунта, в этом месте, при этой формулировке. Это настоящая информация. Если в ответе о вас указан неверный факт, действовать стоит сразу.

Но он не показывает, как часто такой ответ появляется. Хороший скриншот не значит, что вас обычно рекомендуют. Плохой не значит, что вас обычно нет. А два скриншота, сделанные до и после изменения на сайте, не могут показать, что разницу вызвало именно это изменение: ответ мог измениться и сам по себе.

Выборка: базовый метод

Измерение ответов ИИ заимствует простую идею из опросов. Вы не можете увидеть каждый ответ, который даёт система, поэтому единообразно собираете выборку и описываете то, что увидели.

  1. 1Зафиксируйте набор вопросов. Запишите вопросы, которые задают настоящие клиенты, их словами. Включите вопросы, в которых вы названы («[компания] — это хороший вариант?»), и вопросы, в которых вас нет («лучший [услуга] в [город]»). Не меняйте список без веской причины, иначе потеряете возможность сравнивать.
  2. 2Повторяйте каждый вопрос. Задавайте каждый вопрос несколько раз в каждой системе, в разные дни. Один запуск показывает, что может произойти. Повторные запуски начинают показывать, что происходит обычно.
  3. 3Держите условия постоянными. Используйте чистую сессию без истории чатов и памяти, записывайте систему и показанную модель, а также местоположение и язык. Если вы меняете что-то из этого, отметьте это.
  4. 4Сохраняйте ответ целиком. Храните полный текст, список процитированных источников, дату и время. Галочка «упомянуты» в таблице теряет детали, которые понадобятся позже, например что именно было сказано о ваших ценах.
  5. 5Считайте простыми словами. «Упомянуты в 7 из 20 запусков» — это честно и понятно. Не превращайте маленькую выборку в оценку, которая лишь выглядит точной.

Упомянуты — не то же самое, что процитированы

В ответе могут произойти две разные вещи, и записывать их нужно по отдельности.

УпомянутыПроцитированы
Что это значитНазвание вашего бизнеса есть в тексте ответаНа страницу дана ссылка как на источник ответа
Чья страницаСтраница не нужнаВаш собственный сайт или чужая страница, где говорится о вас
Что это показываетСистема связывает вас с этим вопросомКакие страницы система действительно прочитала
Что проверитьТочно и справедливо ли описание?Верны и актуальны ли факты на этой странице?

Вас могут упомянуть вообще без ссылки. Ваш сайт может быть процитирован в ответе, который рекомендует конкурента. А страница каталога о вас может быть процитирована, тогда как ваш собственный сайт проигнорирован, — и это показывает, откуда система берёт факты.

С одними только числами цитирований тоже нужна осторожность. Собственный отчёт Bing о цитированиях в ИИ предупреждает, что его цифры не указывают на расположение, позицию или роль страницы внутри ответа.

Сравнение «до» и «после»

Измеряют обычно для того, чтобы узнать, помогло ли изменение. У честного сравнения есть несколько правил.

  • Сделайте исходный замер до того, как что-либо менять, с полным набором вопросов и повторными запусками.
  • После изменения подождите. Системам нужно время, чтобы заново обойти страницы, и ни одна система не обещает графика.
  • Задайте те же вопросы в тех же системах, в тех же условиях, столько же раз.
  • Сравнивайте сопоставимое с сопоставимым: этот вопрос в этой системе «до» с этим вопросом в этой системе «после».
  • Читайте сохранённые ответы, а не только цифры. Упоминание, которое сменилось с «дорого» на «средние цены», — это изменение, которого подсчёт не заметит.

Честно о шуме

Даже при аккуратном методе результаты колеблются. Если в прошлом месяце вас упомянули в 6 из 20 запусков, а в этом — в 8 из 20, это может быть обычным разбросом, а не прогрессом. О небольших сдвигах в небольших выборках следует сообщать как об «отсутствии явных изменений».

Несколько привычек помогают сохранять отчётность честной:

  • Указывайте, сколько вопросов и запусков стоит за каждой цифрой.
  • Ищите изменения, которые держатся несколько раундов, а не один.
  • Не утверждайте, что изменение вызвала ваша правка, если в тот же период обновилась модель. Скажите, что произошло и то и другое.
  • Помните о пределе любого взгляда со стороны. Google заявляет, что ни один сторонний инструмент не имеет доступа к её внутренним системам ранжирования или ИИ. Выборка показывает, что системы сказали вам, но не почему.
  • Храните исходные ответы, чтобы любой мог сверить с ними сводку.

Вокруг этого подхода и строится Rastock AEO: постоянные вопросы, повторные запуски, сохранённые ответы и упоминания отдельно от цитирований. Такое измерение в разработке и пока не работает; существуют только аккаунты раннего доступа. Впрочем, метод не зависит ни от какого инструмента. Чтобы начать, достаточно списка вопросов, чистой сессии браузера и таблицы.

Вопросы и ответы

Сколько раз нужно задавать один и тот же вопрос?
Волшебного числа нет, и эта статья его не предлагает. Больше одного раза — это минимум, несколько запусков в разные дни лучше, а выбранное число должно оставаться одинаковым в каждом раунде.
Скриншот ответа ИИ бесполезен?
Нет. Он доказывает, что такой ответ был возможен, и может выявить неверный факт, который стоит исправить. Он лишь не может показать, как часто появляется такой ответ и вызвало ли его ваше изменение.
В чём разница между упоминанием и цитированием?
«Упомянуты» значит, что ваше название есть в тексте ответа. «Процитированы» значит, что на страницу, вашу или стороннюю, дана ссылка как на источник. Одно может происходить без другого, поэтому записывайте их по отдельности.
Почему ответ изменился, хотя я ничего не делал?
Ответы различаются из-за встроенной случайности, разных найденных страниц, местоположения, обновлений моделей и личного контекста. Изменение без каких-либо действий с вашей стороны — это нормально, и именно поэтому единичным ответам не стоит придавать слишком большое значение.

Источники

  1. Glossary: Temperature (Claude Platform Docs, Anthropic)
  2. ChatGPT search (OpenAI Help Center)
  3. Optimizing your website for generative AI features on Google Search (Google Search Central)
  4. Introducing AI Performance in Bing Webmaster Tools Public Preview (Bing Webmaster Blog)
ПоделитьсяLinkedInX

Узнайте, что ИИ говорит о вашем бизнесе.

Получить ранний доступ

Другие статьи