Por qué una sola respuesta de la IA no es una medición
Por Equipo de Rastock AEOPublicado 6 min de lectura
Una respuesta de la IA es una sola extracción de un sistema que da respuestas distintas a la misma pregunta, así que no puede decirte cómo describe normalmente un motor a tu negocio. Una medición necesita un conjunto fijo de preguntas, ejecuciones repetidas, respuestas almacenadas y una comparación en igualdad de condiciones a lo largo del tiempo.
Alguien de tu equipo pide a ChatGPT el mejor proveedor de tu sector, ve tu nombre y hace circular una captura de pantalla por la oficina. Una semana después, un cliente pregunta lo mismo y recibe una lista en la que no estás. Ninguno de los dos se equivoca. Cada uno vio una respuesta de las muchas posibles.
Por qué la misma pregunta recibe respuestas distintas
Una página de resultados de búsqueda es bastante estable. Una respuesta de la IA se escribe de cero cada vez, y hay varias cosas que pueden alterarla.
- Aleatoriedad incorporada. Los modelos de lenguaje eligen las palabras con cierto grado de azar. La documentación de Anthropic dice que, incluso con el ajuste más conservador, entradas idénticas pueden producir salidas distintas.
- La redacción. «Mejor contable en Leeds» y «a quién debería acudir para los impuestos de mi pequeña empresa en Leeds» son la misma necesidad para una persona, pero pueden dar lugar a listas distintas.
- La búsqueda en vivo. Cuando un motor busca en la web, la respuesta depende de qué páginas recuperó esa vez. Google describe que sus funciones de IA lanzan un conjunto de búsquedas relacionadas detrás de una sola pregunta, así que el conjunto de páginas fuente puede variar de una pregunta a otra.
- La ubicación. OpenAI dice que ChatGPT search usa información general de ubicación basada en la dirección IP para mejorar los resultados. Una pregunta hecha en otra ciudad o en otro país puede recibir una respuesta distinta.
- La versión del modelo. Los proveedores sustituyen y actualizan sus modelos. Una respuesta de la primavera puede proceder de un modelo distinto al de una respuesta de hoy, y los planes gratuitos y de pago pueden no usar el mismo.
- El contexto personal. Algunos asistentes pueden apoyarse en conversaciones anteriores o en preferencias guardadas. Una cuenta que ya ha hablado de tu empresa no es un observador neutral.
Qué demuestra una sola captura de pantalla
Una captura demuestra que esa respuesta fue posible, una vez, para esa cuenta, en ese lugar y con esa redacción. Es información real. Si la respuesta da un dato erróneo sobre ti, merece la pena actuar de inmediato.
Lo que no puede decirte es con qué frecuencia aparece esa respuesta. Una captura buena no significa que te recomienden habitualmente. Una mala no significa que falte tu nombre habitualmente. Y dos capturas tomadas antes y después de un cambio en el sitio web no pueden demostrar que el cambio causó la diferencia, porque la respuesta podría haber cambiado de todos modos.
Muestreo: el método básico
Medir las respuestas de la IA toma prestada una idea sencilla de las encuestas. No puedes ver todas las respuestas que da un motor, así que recoges una muestra de manera uniforme y describes lo que viste.
- 1Fija el conjunto de preguntas. Anota las preguntas que hacen los clientes reales, con sus palabras. Incluye preguntas que te nombran («¿qué tal es [negocio]?») y preguntas que no («mejor [servicio] en [ciudad]»). No cambies la lista a la ligera, o perderás la posibilidad de comparar.
- 2Repite cada pregunta. Lanza cada pregunta varias veces por motor, en días distintos. Una ejecución te dice lo que puede pasar. Las ejecuciones repetidas empiezan a mostrar lo que suele pasar.
- 3Mantén estables las condiciones. Usa una sesión limpia, sin historial de chat ni memoria, anota el motor y el modelo que se muestran, y anota la ubicación y el idioma. Si cambias alguna de estas cosas, déjalo registrado.
- 4Guarda la respuesta completa. Conserva el texto íntegro, la lista de fuentes citadas y la fecha y la hora. Una marca en una hoja de cálculo que diga «mencionado» pierde el detalle que querrás más adelante, como qué se dijo exactamente sobre tus precios.
- 5Cuenta en términos sencillos. «Mencionado en 7 de 20 ejecuciones» es honesto y fácil de entender. Evita convertir una muestra pequeña en una puntuación de apariencia precisa.
Mencionado no es lo mismo que citado
En una respuesta pueden ocurrir dos cosas distintas, y conviene registrarlas por separado.
| Mencionado | Citado | |
|---|---|---|
| Qué significa | El nombre de tu negocio aparece en el texto de la respuesta | Una página se enlaza como fuente de la respuesta |
| De quién es la página | No hace falta ninguna página | Tu propio sitio o la página de otro que habla de ti |
| Qué te dice | El motor te asocia con esta pregunta | Qué páginas leyó realmente el motor |
| Qué comprobar | ¿La descripción es exacta y justa? | ¿Los datos de esa página son correctos y están al día? |
Pueden mencionarte sin ningún enlace. Tu sitio puede aparecer citado en una respuesta que recomienda a un competidor. Y puede citarse la página de un directorio que habla de ti mientras se ignora tu propio sitio, lo que te indica de dónde saca el motor sus datos.
Los recuentos de citas por sí solos también piden cautela. El propio informe de citas de IA de Bing advierte de que sus cifras no indican la ubicación, la posición ni el papel de una página dentro de una respuesta.
Comparar el antes y el después
Normalmente se mide para saber si un cambio ayudó. Una comparación justa tiene unas pocas reglas.
- Toma una medición de referencia antes de cambiar nada, con el conjunto completo de preguntas y ejecuciones repetidas.
- Después del cambio, espera. Los motores necesitan tiempo para volver a rastrear las páginas, y ningún motor promete un calendario.
- Lanza las mismas preguntas, en los mismos motores, en las mismas condiciones y el mismo número de veces.
- Compara lo que es comparable: esta pregunta en este motor antes, frente a esta pregunta en este motor después.
- Lee las respuestas almacenadas, no solo los recuentos. Una mención que pasó de «caro» a «de precio medio» es un cambio que un recuento pasaría por alto.
Ser honesto con el ruido
Incluso con un método cuidadoso, los resultados oscilan. Si te mencionaron en 6 de 20 ejecuciones el mes pasado y en 8 de 20 este mes, puede tratarse de una variación normal y no de un avance. Los movimientos pequeños en muestras pequeñas deben comunicarse como «sin cambio claro».
Unos pocos hábitos mantienen la honestidad de los informes:
- Di cuántas preguntas y cuántas ejecuciones hay detrás de cada cifra.
- Busca cambios que se mantengan durante varias rondas, no en una sola.
- No afirmes que tu modificación causó un cambio si hubo una actualización del modelo en el mismo periodo. Di que ocurrieron las dos cosas.
- Recuerda el límite de cualquier mirada desde fuera. Google afirma que ninguna herramienta de terceros tiene acceso a sus sistemas internos de clasificación ni de IA. El muestreo muestra lo que los motores te dijeron, no por qué.
- Conserva las respuestas en bruto para que cualquiera pueda contrastar el resumen con ellas.
Este es el enfoque en torno al que se está construyendo Rastock AEO: preguntas fijas, ejecuciones repetidas, respuestas almacenadas y menciones separadas de las citas. Esa medición está en desarrollo y todavía no está disponible; solo existen cuentas de acceso anticipado. El método, eso sí, no depende de ninguna herramienta. Una lista de preguntas, una sesión de navegador limpia y una hoja de cálculo bastan para empezar.
Preguntas y respuestas
- ¿Cuántas veces debo hacer la misma pregunta?
- No hay un número mágico, y este artículo no ofrece ninguno. Más de una vez es el mínimo, varias ejecuciones en días distintos es mejor, y el número que elijas debe mantenerse igual en todas las rondas.
- ¿Una captura de pantalla de una respuesta de la IA no sirve para nada?
- Sí sirve. Demuestra que esa respuesta fue posible y puede revelar un dato erróneo que merece la pena corregir. Lo que no puede mostrar es con qué frecuencia aparece la respuesta ni si la causó un cambio que hiciste.
- ¿Qué diferencia hay entre que te mencionen y que te citen?
- Mencionado significa que tu nombre aparece en el texto de la respuesta. Citado significa que una página, tuya o de un tercero, se enlaza como fuente. Pueden darse de forma independiente, así que regístralos por separado.
- ¿Por qué cambió la respuesta si no hice nada?
- Las respuestas varían por la aleatoriedad incorporada, las distintas páginas recuperadas, la ubicación, las actualizaciones del modelo y el contexto personal. Un cambio sin que tú hayas hecho nada es normal, y es la razón por la que no conviene sacar demasiadas conclusiones de una sola respuesta.
Fuentes
Descubre qué dice la IA sobre tu negocio.
Obtén acceso anticipadoMás artículos
¿Qué es la optimización para motores de respuesta (AEO)?
Guía clara de la optimización para motores de respuesta: qué son, cómo se relaciona el AEO con el SEO, en qué puedes influir, en qué no y primeros pasos.
robots.txt, llms.txt y rastreadores de IA: qué debe configurar un sitio pequeño
Qué rastreadores de IA visitan tu sitio, los user-agents oficiales que permitir o bloquear en robots.txt, qué es llms.txt y el riesgo de depender de JavaScript.