Warum eine einzelne KI-Antwort keine Messung ist
Von Rastock AEO TeamVeröffentlicht 6 Min. Lesezeit
Eine einzelne KI-Antwort ist eine einzige Ziehung aus einem System, das auf dieselbe Frage unterschiedliche Antworten gibt. Sie kann Ihnen deshalb nicht sagen, wie eine Antwortmaschine Ihr Unternehmen üblicherweise beschreibt. Eine Messung braucht einen festen Fragensatz, wiederholte Durchläufe, gespeicherte Antworten und einen Vergleich von Gleichem mit Gleichem über die Zeit.
Jemand aus Ihrem Team fragt ChatGPT nach dem besten Anbieter in Ihrer Branche, sieht Ihren Namen und schickt einen Screenshot im Büro herum. Eine Woche später fragt ein Kunde dasselbe und erhält eine Liste ohne Sie. Keiner von beiden irrt sich. Jeder hat eine Antwort von vielen möglichen gesehen.
Warum dieselbe Frage unterschiedliche Antworten erhält
Eine Suchergebnisseite ist ziemlich stabil. Eine KI-Antwort wird jedes Mal neu geschrieben, und mehrere Dinge können sie verschieben.
- Eingebauter Zufall. Sprachmodelle wählen Wörter mit einem gewissen Maß an Zufall. In der Dokumentation von Anthropic heißt es, dass identische Eingaben selbst bei der konservativsten Einstellung noch unterschiedliche Ausgaben ergeben können.
- Formulierung. „Bester Steuerberater in Leeds“ und „an wen sollte ich mich für die Steuern meines kleinen Unternehmens in Leeds wenden“ sind für einen Menschen dasselbe Anliegen, können aber zu unterschiedlichen Listen führen.
- Live-Suche. Wenn eine Antwortmaschine das Web durchsucht, hängt die Antwort davon ab, welche Seiten sie dieses Mal abgerufen hat. Google beschreibt, dass seine KI-Funktionen hinter einer einzigen Frage eine Reihe verwandter Suchanfragen ausführen, sodass sich der Bestand an Quellseiten von einer Frage zur nächsten unterscheiden kann.
- Standort. OpenAI sagt, dass die ChatGPT-Suche allgemeine Standortinformationen auf Basis der IP-Adresse verwendet, um die Ergebnisse zu verbessern. Eine Frage, die in einer anderen Stadt oder einem anderen Land gestellt wird, wird möglicherweise anders beantwortet.
- Modellversion. Anbieter ersetzen und aktualisieren ihre Modelle. Eine Antwort aus dem Frühjahr kann von einem anderen Modell stammen als eine Antwort von heute, und kostenlose und kostenpflichtige Tarife verwenden möglicherweise nicht dasselbe.
- Persönlicher Kontext. Manche Assistenten können auf frühere Unterhaltungen oder gespeicherte Präferenzen zurückgreifen. Ein Konto, in dem schon einmal über Ihr Unternehmen gesprochen wurde, ist kein neutraler Beobachter.
Was ein einzelner Screenshot beweist
Ein Screenshot beweist, dass diese Antwort möglich war, einmal, für dieses Konto, an diesem Ort, mit dieser Formulierung. Das ist eine echte Information. Nennt die Antwort eine falsche Tatsache über Sie, lohnt es sich, sofort zu handeln.
Was er Ihnen nicht sagen kann, ist, wie oft diese Antwort erscheint. Ein guter Screenshot bedeutet nicht, dass Sie üblicherweise empfohlen werden. Ein schlechter bedeutet nicht, dass Sie üblicherweise fehlen. Und zwei Screenshots, die vor und nach einer Änderung an der Website aufgenommen wurden, können nicht zeigen, dass die Änderung den Unterschied verursacht hat, denn die Antwort hätte sich ohnehin ändern können.
Stichproben: die grundlegende Methode
Das Messen von KI-Antworten übernimmt eine einfache Idee aus der Umfrageforschung. Sie können nicht jede Antwort sehen, die eine Antwortmaschine gibt, also erheben Sie auf einheitliche Weise eine Stichprobe und beschreiben, was Sie gesehen haben.
- 1Legen Sie den Fragensatz fest. Schreiben Sie die Fragen auf, die echte Kunden stellen, in deren Worten. Nehmen Sie Fragen auf, die Sie nennen („taugt [Unternehmen] etwas“), und Fragen, die das nicht tun („beste [Leistung] in [Ort]“). Ändern Sie die Liste nicht beiläufig, sonst verlieren Sie die Möglichkeit zu vergleichen.
- 2Wiederholen Sie jede Frage. Stellen Sie jede Frage mehrmals pro Antwortmaschine, an verschiedenen Tagen. Ein Durchlauf zeigt Ihnen, was passieren kann. Wiederholte Durchläufe beginnen zu zeigen, was tendenziell passiert.
- 3Halten Sie die Bedingungen konstant. Verwenden Sie eine saubere Sitzung ohne Chatverlauf oder Gedächtnis, notieren Sie die Antwortmaschine und das angezeigte Modell und notieren Sie Standort und Sprache. Wenn Sie eines davon ändern, halten Sie es fest.
- 4Speichern Sie die vollständige Antwort. Bewahren Sie den vollständigen Text, die Liste der zitierten Quellen sowie Datum und Uhrzeit auf. Ein Häkchen in einer Tabelle mit dem Vermerk „erwähnt“ verliert die Details, die Sie später brauchen werden, etwa was genau über Ihre Preise gesagt wurde.
- 5Zählen Sie in einfachen Worten. „In 7 von 20 Durchläufen erwähnt“ ist ehrlich und leicht zu verstehen. Vermeiden Sie es, aus einer kleinen Stichprobe einen präzise wirkenden Score zu machen.
Erwähnt ist nicht dasselbe wie zitiert
In einer Antwort können zwei verschiedene Dinge geschehen, und sie sollten getrennt erfasst werden.
| Erwähnt | Zitiert | |
|---|---|---|
| Was es bedeutet | Der Name Ihres Unternehmens erscheint im Antworttext | Eine Seite ist als Quelle für die Antwort verlinkt |
| Wessen Seite | Keine Seite nötig | Ihre eigene Website oder die Seite eines anderen, die über Sie spricht |
| Was es Ihnen sagt | Die Antwortmaschine verbindet Sie mit dieser Frage | Welche Seiten die Antwortmaschine tatsächlich gelesen hat |
| Was zu prüfen ist | Ist die Beschreibung zutreffend und fair? | Sind die Fakten auf dieser Seite korrekt und aktuell? |
Sie können ganz ohne Link erwähnt werden. Ihre Website kann in einer Antwort zitiert werden, die einen Wettbewerber empfiehlt. Und eine Verzeichnisseite über Sie kann zitiert werden, während Ihre eigene Website ignoriert wird, was Ihnen zeigt, woher die Antwortmaschine ihre Fakten bezieht.
Auch Zitatzahlen allein sind mit Vorsicht zu behandeln. Bings eigener Bericht zu KI-Zitaten warnt, dass seine Zahlen nichts über die Platzierung, das Ranking oder die Rolle einer Seite innerhalb einer Antwort aussagen.
Vorher und nachher vergleichen
Der Zweck des Messens ist meist, zu erfahren, ob eine Änderung geholfen hat. Für einen fairen Vergleich gelten einige Regeln.
- Erheben Sie einen Ausgangswert, bevor Sie etwas ändern, mit dem vollständigen Fragensatz und wiederholten Durchläufen.
- Warten Sie nach der Änderung ab. Antwortmaschinen brauchen Zeit, um Seiten erneut zu crawlen, und keine Antwortmaschine verspricht einen Zeitplan.
- Stellen Sie dieselben Fragen, in denselben Antwortmaschinen, unter denselben Bedingungen, gleich oft.
- Vergleichen Sie Gleiches mit Gleichem: diese Frage in dieser Antwortmaschine vorher mit dieser Frage in dieser Antwortmaschine nachher.
- Lesen Sie die gespeicherten Antworten, nicht nur die Zahlen. Eine Erwähnung, die von „teuer“ zu „mittleres Preisniveau“ gewechselt ist, ist eine Veränderung, die einer Zählung entgehen würde.
Ehrlich mit Zufallsschwankungen umgehen
Selbst bei sorgfältiger Methode schwanken die Ergebnisse. Wenn Sie im letzten Monat in 6 von 20 Durchläufen erwähnt wurden und in diesem Monat in 8 von 20, kann das gewöhnliche Schwankung sein und kein Fortschritt. Kleine Verschiebungen in kleinen Stichproben sollten als „keine klare Veränderung“ berichtet werden.
Einige Gewohnheiten halten die Berichterstattung ehrlich:
- Sagen Sie, wie viele Fragen und Durchläufe hinter jeder Zahl stehen.
- Achten Sie auf Veränderungen, die über mehrere Runden Bestand haben, nicht nur über eine.
- Behaupten Sie nicht, Ihre Bearbeitung habe eine Veränderung verursacht, wenn im selben Zeitraum ein Modell-Update stattgefunden hat. Sagen Sie, dass beides geschehen ist.
- Denken Sie an die Grenze jeder Außensicht. Google erklärt, dass kein Tool von Drittanbietern Zugang zu seinen internen Ranking- oder KI-Systemen hat. Stichproben zeigen, was Antwortmaschinen Ihnen gesagt haben, nicht warum.
- Bewahren Sie die Rohantworten auf, damit jeder die Zusammenfassung daran überprüfen kann.
Das ist der Ansatz, um den herum Rastock AEO gebaut wird: feste Fragen, wiederholte Durchläufe, gespeicherte Antworten und Erwähnungen getrennt von Zitaten. Diese Messung ist im Aufbau und noch nicht live; es gibt nur Frühzugangskonten. Die Methode hängt allerdings von keinem Tool ab. Eine Fragenliste, eine saubere Browsersitzung und eine Tabelle genügen für den Anfang.
Fragen und Antworten
- Wie oft sollte ich dieselbe Frage stellen?
- Es gibt keine magische Zahl, und dieser Artikel nennt auch keine. Mehr als einmal ist das Minimum, mehrere Durchläufe an verschiedenen Tagen sind besser, und die Zahl, für die Sie sich entscheiden, sollte in jeder Runde gleich bleiben.
- Ist ein Screenshot einer KI-Antwort nutzlos?
- Nein. Er beweist, dass diese Antwort möglich war, und kann eine falsche Tatsache aufdecken, die sich zu korrigieren lohnt. Er kann nur nicht zeigen, wie oft die Antwort erscheint oder ob eine von Ihnen vorgenommene Änderung sie verursacht hat.
- Was ist der Unterschied zwischen erwähnt und zitiert werden?
- Erwähnt bedeutet, dass Ihr Name im Antworttext erscheint. Zitiert bedeutet, dass eine Seite, Ihre eigene oder die eines Dritten, als Quelle verlinkt ist. Beides kann unabhängig voneinander geschehen, erfassen Sie es also getrennt.
- Warum hat sich die Antwort geändert, obwohl ich nichts getan habe?
- Antworten schwanken durch eingebauten Zufall, unterschiedliche abgerufene Seiten, Standort, Modell-Updates und persönlichen Kontext. Eine Veränderung ohne Ihr Zutun ist normal und der Grund, warum einzelne Antworten nicht überinterpretiert werden sollten.
Quellen
Sehen Sie, was KI über Ihr Unternehmen sagt.
Frühzugang sichernWeitere Artikel
Was ist Answer Engine Optimization (AEO)?
Answer Engine Optimization verständlich erklärt: was Antwortmaschinen sind, wie AEO und SEO zusammenhängen, was Sie beeinflussen können und was nicht.
robots.txt, llms.txt und KI-Crawler: Was eine kleine Website einrichten sollte
Welche KI-Crawler Ihre Website besuchen, welche offiziellen User-Agent-Namen in robots.txt gelten, was llms.txt wirklich ist und wo JavaScript zum Risiko wird.