Aller au contenu
Tous les articles

Pourquoi une seule réponse d’IA n’est pas une mesure

Par L’équipe Rastock AEOPublié le 6 min de lecture

Une réponse d’IA est un tirage unique dans un système qui donne des réponses différentes à la même question : elle ne peut donc pas vous dire comment un moteur décrit habituellement votre entreprise. Une mesure exige une série fixe de questions, des exécutions répétées, des réponses conservées et une comparaison à conditions égales dans le temps.

Un membre de votre équipe demande à ChatGPT quel est le meilleur prestataire de votre secteur, voit votre nom et fait circuler une capture d’écran dans tout le bureau. Une semaine plus tard, un client pose la même question et obtient une liste où vous ne figurez pas. Aucun des deux n’a tort. Chacun a vu une réponse parmi de nombreuses réponses possibles.

Pourquoi la même question reçoit des réponses différentes

Une page de résultats de recherche est assez stable. Une réponse d’IA est rédigée à neuf à chaque fois, et plusieurs facteurs peuvent la faire varier.

  • Un aléa intégré. Les modèles de langage choisissent les mots avec une part de hasard. La documentation d’Anthropic indique que, même avec le réglage le plus prudent, des entrées identiques peuvent encore produire des sorties différentes.
  • La formulation. « Meilleur expert-comptable à Leeds » et « à qui confier la fiscalité de ma petite entreprise à Leeds » expriment le même besoin pour une personne, mais peuvent aboutir à des listes différentes.
  • La recherche en direct. Lorsqu’un moteur cherche sur le web, la réponse dépend des pages qu’il a récupérées cette fois-là. Google décrit ses fonctionnalités d’IA comme lançant une série de recherches connexes derrière une seule question : l’ensemble des pages sources peut donc différer d’une question à l’autre.
  • Le lieu. OpenAI indique que ChatGPT search utilise des informations de localisation générales, fondées sur l’adresse IP, pour améliorer les résultats. Une question posée dans une autre ville ou un autre pays peut recevoir une réponse différente.
  • La version du modèle. Les fournisseurs remplacent et mettent à jour leurs modèles. Une réponse du printemps peut provenir d’un autre modèle qu’une réponse d’aujourd’hui, et les offres gratuites et payantes n’utilisent pas forcément le même.
  • Le contexte personnel. Certains assistants peuvent s’appuyer sur des conversations antérieures ou des préférences enregistrées. Un compte qui a déjà discuté de votre entreprise n’est pas un observateur neutre.

Ce que prouve une seule capture d’écran

Une capture d’écran prouve que cette réponse était possible, une fois, pour ce compte, à cet endroit, avec cette formulation. C’est une information réelle. Si la réponse énonce un fait erroné à votre sujet, il vaut la peine d’agir sans attendre.

Ce qu’elle ne peut pas vous dire, c’est à quelle fréquence cette réponse apparaît. Une bonne capture ne signifie pas que vous êtes habituellement recommandé. Une mauvaise ne signifie pas que vous êtes habituellement absent. Et deux captures prises avant et après une modification du site ne peuvent pas montrer que cette modification a causé la différence, car la réponse aurait pu changer de toute façon.

L’échantillonnage : la méthode de base

La mesure des réponses des IA emprunte une idée simple aux sondages. Vous ne pouvez pas voir toutes les réponses que donne un moteur : vous recueillez donc un échantillon de manière constante et vous décrivez ce que vous avez observé.

  1. 1Fixez la série de questions. Notez les questions que posent de vrais clients, avec leurs mots. Incluez des questions qui vous nomment (« [entreprise] est-elle sérieuse ») et d’autres qui ne vous nomment pas (« meilleur [service] à [ville] »). Ne modifiez pas la liste à la légère, sinon vous perdez la possibilité de comparer.
  2. 2Répétez chaque question. Posez chaque question plusieurs fois par moteur, à des jours différents. Une exécution vous dit ce qui peut arriver. Des exécutions répétées commencent à montrer ce qui arrive le plus souvent.
  3. 3Gardez des conditions stables. Utilisez une session vierge, sans historique de discussion ni mémoire, notez le moteur et le modèle affichés, ainsi que le lieu et la langue. Si vous modifiez l’un de ces éléments, consignez-le.
  4. 4Conservez la réponse complète. Gardez le texte intégral, la liste des sources citées, la date et l’heure. Une coche « mentionné » dans un tableur fait perdre le détail dont vous aurez besoin plus tard, par exemple ce qui a été dit exactement de vos prix.
  5. 5Comptez en termes simples. « Mentionné dans 7 exécutions sur 20 » est honnête et facile à comprendre. Évitez de transformer un petit échantillon en un score d’apparence précise.

Être mentionné n’est pas être cité

Deux choses différentes peuvent se produire dans une réponse, et elles doivent être enregistrées séparément.

MentionnéCité
Ce que cela signifieLe nom de votre entreprise apparaît dans le texte de la réponseUne page est liée comme source de la réponse
La page de quiAucune page nécessaireVotre propre site, ou la page d’un tiers qui parle de vous
Ce que cela vous apprendLe moteur vous associe à cette questionQuelles pages le moteur a réellement lues
Ce qu’il faut vérifierLa description est-elle exacte et équitable ?Les faits de cette page sont-ils exacts et à jour ?

Vous pouvez être mentionné sans aucun lien. Votre site peut être cité dans une réponse qui recommande un concurrent. Et une page d’annuaire à votre sujet peut être citée alors que votre propre site est ignoré, ce qui vous indique où le moteur puise ses faits.

Les nombres de citations, pris isolément, demandent eux aussi de la prudence. Le rapport de Bing sur les citations IA avertit lui-même que ses chiffres n’indiquent ni l’emplacement, ni le classement, ni le rôle d’une page au sein d’une réponse.

Comparer avant et après

Le but de la mesure est généralement de savoir si un changement a été utile. Une comparaison équitable obéit à quelques règles.

  • Établissez une mesure de référence avant de changer quoi que ce soit, avec la série complète de questions et des exécutions répétées.
  • Après le changement, attendez. Les moteurs ont besoin de temps pour explorer à nouveau les pages, et aucun ne promet de calendrier.
  • Posez les mêmes questions, dans les mêmes moteurs, dans les mêmes conditions, le même nombre de fois.
  • Comparez ce qui est comparable : cette question dans ce moteur avant, face à cette question dans ce moteur après.
  • Lisez les réponses conservées, pas seulement les décomptes. Une mention passée de « cher » à « prix moyens » est un changement qu’un décompte ne verrait pas.

Rester honnête face au bruit

Même avec une méthode soigneuse, les résultats fluctuent. Si vous étiez mentionné dans 6 exécutions sur 20 le mois dernier et dans 8 sur 20 ce mois-ci, il peut s’agir d’une variation ordinaire et non d’un progrès. De petits écarts sur de petits échantillons doivent être rapportés comme « pas de changement net ».

Quelques habitudes aident à garder des rapports honnêtes :

  • Indiquez combien de questions et d’exécutions se trouvent derrière chaque chiffre.
  • Recherchez les changements qui se maintiennent sur plusieurs séries de mesures, pas sur une seule.
  • N’affirmez pas que votre modification a causé un changement lorsqu’une mise à jour du modèle a eu lieu pendant la même période. Dites que les deux se sont produits.
  • Gardez à l’esprit la limite de tout regard extérieur. Google affirme qu’aucun outil tiers n’a accès à ses systèmes internes de classement ou d’IA. L’échantillonnage montre ce que les moteurs vous ont dit, pas pourquoi.
  • Conservez les réponses brutes afin que chacun puisse confronter la synthèse à celles-ci.

C’est l’approche autour de laquelle Rastock AEO est conçu : des questions fixes, des exécutions répétées, des réponses conservées et des mentions distinguées des citations. Cette mesure est en développement et n’est pas encore en ligne ; seuls des comptes en accès anticipé existent. La méthode ne dépend toutefois d’aucun outil. Une liste de questions, une session de navigateur vierge et un tableur suffisent pour commencer.

Questions et réponses

Combien de fois dois-je poser la même question ?
Il n’y a pas de chiffre magique, et cet article n’en propose pas. Plus d’une fois est le minimum, plusieurs exécutions à des jours différents valent mieux, et le nombre que vous retenez doit rester le même à chaque série de mesures.
Une capture d’écran d’une réponse d’IA est-elle inutile ?
Non. Elle prouve que cette réponse était possible et peut révéler un fait erroné qui mérite d’être corrigé. Elle ne peut simplement pas montrer à quelle fréquence la réponse apparaît, ni si un changement que vous avez effectué en est la cause.
Quelle est la différence entre être mentionné et être cité ?
Mentionné signifie que votre nom apparaît dans le texte de la réponse. Cité signifie qu’une page, la vôtre ou celle d’un tiers, est liée comme source. Les deux peuvent se produire indépendamment : enregistrez-les donc séparément.
Pourquoi la réponse a-t-elle changé alors que je n’ai rien fait ?
Les réponses varient en raison de l’aléa intégré, des pages récupérées, du lieu, des mises à jour de modèle et du contexte personnel. Un changement sans aucune action de votre part est normal, et c’est la raison pour laquelle il ne faut pas surinterpréter une réponse isolée.

Sources

  1. Glossary: Temperature (Claude Platform Docs, Anthropic)
  2. ChatGPT search (OpenAI Help Center)
  3. Optimizing your website for generative AI features on Google Search (Google Search Central)
  4. Introducing AI Performance in Bing Webmaster Tools Public Preview (Bing Webmaster Blog)
PartagerLinkedInX

Découvrez ce que l’IA dit de votre entreprise.

Obtenir l’accès anticipé

Autres articles