robots.txt, llms.txt y rastreadores de IA: qué debe configurar un sitio pequeño
Por Equipo de Rastock AEOPublicado 6 min de lectura
Un sitio pequeño debe decidir a conciencia qué rastreadores de IA permite en robots.txt, usando los nombres oficiales de user-agent de cada empresa, y asegurarse de que sus datos clave están en el HTML que envía el servidor. Un archivo llms.txt es opcional: es una propuesta de la comunidad, y la Búsqueda de Google dice que no lo utiliza.
Las empresas de IA leen los sitios web con programas automáticos llamados rastreadores. Cada rastreador se presenta con un nombre, llamado user-agent, y la mayoría consulta un archivo de texto de tu sitio llamado robots.txt antes de leer nada. Esta guía repasa los nombres que importan, una configuración inicial segura y dos temas que generan confusión: llms.txt y JavaScript.
Tres tipos de rastreadores de IA
Los grandes proveedores separan sus rastreadores según su finalidad. La separación importa porque bloquear un tipo no tiene el mismo efecto que bloquear otro.
- Los rastreadores de entrenamiento recopilan páginas que pueden usarse para entrenar modelos futuros. Bloquearlos equivale a excluirte del entrenamiento. No te saca de la búsqueda con IA.
- Los rastreadores de búsqueda construyen el índice que un asistente consulta cuando responde con resultados de la web. Bloquearlos puede dejar tus páginas fuera de esas respuestas y de sus enlaces a fuentes.
- Los agentes activados por el usuario visitan una página porque una persona preguntó al asistente por ella o pegó su dirección. No son rastreo automático, y algunos proveedores dicen que las reglas de
robots.txtpueden no aplicárseles.
Los nombres oficiales de user-agent
Estos nombres proceden de la documentación de cada empresa, comprobada en noviembre de 2026. Cambian de vez en cuando, así que consulta los enlaces a las fuentes antes de editar un archivo en producción.
| Empresa | Nombre en robots.txt | Finalidad | Qué dice la empresa |
|---|---|---|---|
| OpenAI | GPTBot | Entrenamiento | Prohibirle el acceso indica que tu contenido no debe usarse para entrenar sus modelos. |
| OpenAI | OAI-SearchBot | Búsqueda | Los sitios que se excluyen no se muestran en las respuestas de ChatGPT search, aunque pueden seguir apareciendo como simples enlaces de navegación. |
| OpenAI | ChatGPT-User | Activado por el usuario | No se usa para el rastreo automático. Las reglas de robots.txt pueden no aplicarse. |
| Anthropic | ClaudeBot | Entrenamiento | Bloquearlo excluye el material futuro de los conjuntos de datos de entrenamiento. |
| Anthropic | Claude-SearchBot | Búsqueda | Bloquearlo puede reducir la visibilidad y la exactitud en los resultados de búsqueda de Claude. |
| Anthropic | Claude-User | Activado por el usuario | Respeta robots.txt. Bloquearlo impide que Claude consulte tu página para la pregunta de un usuario. |
| Perplexity | PerplexityBot | Búsqueda | Se usa para mostrar y enlazar sitios en Perplexity. No se usa para entrenar modelos. |
| Perplexity | Perplexity-User | Activado por el usuario | Por lo general ignora robots.txt, porque fue una persona quien pidió la consulta. |
Googlebot | Búsqueda | Alimenta la Búsqueda de Google. Google dice que sus funciones de IA se nutren del índice de la Búsqueda. | |
Google-Extended | Solo nombre de control | No es un rastreador aparte. Controla el entrenamiento de Gemini y el «grounding» en las aplicaciones de Gemini. No afecta a la Búsqueda de Google. |
Dos apuntes. OpenAI también incluye OAI-AdsBot, que solo visita páginas enviadas como anuncios en ChatGPT. Y las publicaciones de Microsoft sobre Copilot no nombran un rastreador de IA aparte. Se dirigen a su rastreador como Bingbot y usan etiquetas a nivel de página, que se explican más abajo.
Un ejemplo de robots.txt
El archivo está en la raíz de tu dominio, por ejemplo https://example.com/robots.txt. Una opción habitual para un negocio que quiere que lo encuentren es: permitir la búsqueda y el acceso activado por el usuario, y excluirse del entrenamiento. Queda así:
# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlPara permitir también el entrenamiento, borra el segundo grupo. Para bloquear un rastreador solo en una carpeta, sustituye / por una ruta como /members/.
Piénsalo antes de añadir Google-Extended al grupo bloqueado. Google dice que ese nombre abarca tanto el entrenamiento de Gemini como el «grounding» en las aplicaciones de Gemini, así que bloquearlo también puede limitar cómo usa tus páginas la aplicación de Gemini al responder.
Lo que robots.txt no puede hacer
- Es una petición, no un candado. La guía de Google dice que el archivo no puede imponer un comportamiento y que obedecerlo depende de cada rastreador. Pon el contenido privado detrás de un inicio de sesión.
- Los cambios no son instantáneos. Tanto OpenAI como Perplexity dicen que sus sistemas pueden tardar unas 24 horas en reflejar una actualización.
- Otras capas pueden bloquear sin avisar. Un cortafuegos, una CDN o un proveedor de alojamiento pueden rechazar a los rastreadores de IA antes de que lleguen a leer tu archivo. Pregunta a tu proveedor cuál es su configuración por defecto.
- Bloquear por IP puede salir mal. Anthropic advierte de que eso puede impedir que el rastreador lea tu
robots.txt. - Microsoft usa etiquetas en la página. Bing anunció el 30 de octubre de 2026 nuevas preferencias de entrenamiento y «grounding», que se configuran con etiquetas meta dirigidas a Bingbot, y dice que entran en vigor a partir del 1 de febrero de 2027. Sustituyen a las antiguas etiquetas
noarchiveynocachepara este fin.
En el IETF también se está redactando una señal común de «no entrenar IA» para robots.txt. Anthropic y Microsoft dicen que la respetan o que la respetarán, y Google dice que tiene intención de admitirla a principios de 2027. El borrador todavía puede cambiar, así que las reglas con nombre de arriba siguen siendo, por ahora, la vía fiable.
Qué es llms.txt y cuál es su situación real
llms.txt es una propuesta publicada por Jeremy Howard en septiembre de 2024. Sugiere colocar en /llms.txt un archivo Markdown con el nombre de tu sitio, un resumen breve y listas de enlaces a tus páginas más útiles, a ser posible en una versión de texto limpia. Es una guía para las herramientas de IA, no una regla de acceso, así que no sustituye a robots.txt.
Tampoco está muerto. OpenAI, Anthropic, el equipo de Gemini de Google y Perplexity publican archivos llms.txt para su propia documentación para desarrolladores, y la herramienta Lighthouse de Chrome ya comprueba si existe uno, y lo describe como una convención emergente que por ahora es opcional. Su utilidad práctica hoy es ayudar a los asistentes de programación y a los agentes a leer documentación. Si tu sitio tiene documentación o una API, añadir el archivo cuesta poco. Para el sitio de un negocio local, considéralo de baja prioridad.
Contenido que solo aparece con JavaScript
Muchos sitios modernos envían una página casi vacía y después construyen el contenido en el navegador del visitante con JavaScript. Google puede ejecutar ese JavaScript, en un paso de renderizado aparte que puede llegar más tarde. Pero la propia documentación de Google señala que no todos los bots pueden ejecutar JavaScript, y recomienda el renderizado en el servidor o el prerrenderizado.
Las páginas sobre rastreadores de OpenAI, Anthropic y Perplexity no dicen si sus rastreadores ejecutan scripts. Lo prudente es suponer que quizá no lo hagan. Para comprobarlo, abre tu página, elige «Ver código fuente de la página» y busca tus precios, tus servicios y tus datos de contacto. Si no están en el código fuente, pide a tu desarrollador que los renderice en el servidor.
Una configuración sensata para un sitio pequeño
- 1Lee tu
robots.txtactual y busca reglas antiguas que lo bloqueen todo. - 2Permite los rastreadores de búsqueda y los agentes activados por el usuario de los motores que usan tus clientes.
- 3Decide sobre los rastreadores de entrenamiento como una decisión de negocio, y escribe la regla en un sentido o en otro.
- 4Pregunta a tu proveedor de alojamiento o a tu CDN si bloquea los bots de IA por defecto.
- 5Confirma que tus datos clave están en el código fuente de la página, y no solo añadidos por JavaScript.
- 6Añade
llms.txtsolo si tienes documentación a la que merezca la pena remitir. - 7Vuelve a revisar las páginas oficiales de los rastreadores unas cuantas veces al año.
Rastock AEO, que todavía está en desarrollo, está pensado para seguir cómo describen un negocio los motores de respuesta. Nada de eso funciona si los rastreadores no pueden leer tu sitio, así que esta configuración va primero.
Preguntas y respuestas
- ¿Bloquear GPTBot elimina mi sitio de ChatGPT search?
- No. OpenAI dice que cada ajuste es independiente: GPTBot tiene que ver con el entrenamiento, y OAI-SearchBot controla si un sitio se muestra en las respuestas de ChatGPT search.
- ¿Necesito un archivo llms.txt?
- Es opcional. Es una propuesta de la comunidad, la Búsqueda de Google dice que no lo utiliza y no hemos encontrado ningún motor importante que confirme que influye en las respuestas. Donde más útil resulta es en sitios con documentación para desarrolladores.
- ¿Todos los bots de IA obedecen robots.txt?
- No. El archivo es una petición que siguen los rastreadores que se portan bien. Perplexity dice que su agente activado por el usuario por lo general lo ignora, y OpenAI dice que las reglas pueden no aplicarse a ChatGPT-User.
- ¿Verán los rastreadores de IA el contenido que mi sitio carga con JavaScript?
- Puede que no. Google renderiza JavaScript, pero señala que no todos los bots pueden, y las páginas de los otros grandes rastreadores no lo dicen. Pon los datos importantes en el HTML que envía el servidor.
Fuentes
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
- Perplexity Crawlers (Perplexity)
- Google's common crawlers (Google for Developers)
- Optimizing your website for generative AI features on Google Search (Google Search Central)
- Robots.txt Introduction and Guide (Google Search Central)
- Understand the JavaScript SEO basics (Google Search Central)
- Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
- The /llms.txt file, v2 (llmstxt.org)
- llms.txt (Lighthouse, Chrome for Developers)
Descubre qué dice la IA sobre tu negocio.
Obtén acceso anticipadoMás artículos
¿Qué es la optimización para motores de respuesta (AEO)?
Guía clara de la optimización para motores de respuesta: qué son, cómo se relaciona el AEO con el SEO, en qué puedes influir, en qué no y primeros pasos.
Por qué una sola respuesta de la IA no es una medición
Las respuestas de la IA cambian según la ejecución, la redacción, el lugar y el modelo. Por qué una captura demuestra poco y cómo muestrear de forma justa.