GPTBot y crawlers de IA: qué son y cómo gestionarlos

Si revisas los logs de tu servidor, verás visitas de GPTBot, ClaudeBot, PerplexityBot y otros agentes. Son los rastreadores de las empresas de inteligencia artificial, y cada uno cumple una función distinta: unos recogen contenido para entrenar LLMs, otros alimentan un índice de búsqueda y otros visitan una web porque alguien lo ha pedido en una conversación. Bloquearlos todos por igual es un error frecuente que puede sacar tu sitio de las respuestas de ChatGPT. En esta guía te explicamos qué hace cada bot, cómo gestionarlos en el robots.txt y cómo medir su actividad.

Qué es GPTBot

GPTBot es el rastreador de OpenAI dedicado al entrenamiento. Recorre webs públicas para recopilar texto que puede servir para entrenar las futuras versiones de su IA. Se identifica con un nombre propio en cada petición y respeta las instrucciones del fichero de exclusión.

Lo importante es lo que no hace: no decide si tu web aparece en las respuestas con búsqueda. Esa tarea corresponde a otros agentes de la misma empresa. Si impides que GPTBot rastree tu sitio, evitas que tu contenido acabe en futuras versiones, pero no desapareces de los resultados del asistente.

Los tres bots de OpenAI

OpenAI usa tres agentes con funciones distintas. Conviene conocerlos antes de tocar nada:

La diferencia entre GPTBot y ChatGPT-User es clave para tu analítica. La visita del primero solo alimenta futuras versiones. Una visita del agente de usuario corresponde a tráfico real: alguien ha hecho una pregunta y el asistente ha ido a leer tu web para responder. OAI-SearchBot, por su parte, rastrea la web para construir el índice que consulta el buscador del asistente. Ninguna de las herramientas SEO clásicas separa estos tres tipos de visita.

Los rastreadores de Anthropic, Perplexity y Google

Las demás empresas de inteligencia artificial siguen un esquema parecido: un agente para recopilar datos y otros para la búsqueda o para las peticiones de las personas.

• Anthropic. ClaudeBot rastrea contenido para el entrenamiento de Claude. Anthropic usa también Claude-User, para los enlaces que alguien pide abrir, y Claude-SearchBot, para mejorar sus resultados.
• Perplexity. PerplexityBot rastrea la web para el índice de su buscador, y Perplexity-User visita una web cuando alguien lo pide. Según su documentación, esos datos no se usan para entrenar modelos fundacionales.
• Google. Google-Extended no es un agente separado, sino una instrucción para ese mismo fichero que controla si tu información se usa en el entrenamiento de Gemini. No afecta a tu SEO ni a los AI Overviews, que dependen de Googlebot.
• Otros. Applebot-Extended (Apple), CCBot (Common Crawl, cuyo corpus usan muchos LLMs), Bytespider (ByteDance) y meta-externalagent (Meta) también aparecen en los logs de muchas webs.

La lista cambia cada vez más rápido. Antes de configurar nada, revisa la documentación oficial: OpenAI y Anthropic, entre otras, publican el nombre exacto de sus agentes.

Cómo bloquear GPTBot en robots.txt

El archivo robots.txt está en la raíz de tu web y le dice a cada rastreador qué rutas puede visitar. La directiva Disallow indica lo que queda cerrado. Para impedir el entrenamiento y seguir visible en la búsqueda del asistente, basta con una regla para cada agente:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

La misma lógica sirve para los demás agentes: bloqueo de ClaudeBot y de Google-Extended, y acceso libre para los que alimentan buscadores. También es posible permitir solo una parte del sitio: abrir el blog y las fichas de producto y cerrar las zonas privadas o de pago.

El bloqueo por robots.txt es una instrucción, no una barrera técnica: los bots de las grandes empresas la respetan, pero un rastreador mal configurado puede ignorarla. Si necesitas una barrera real, aplícala en el servidor o en el CDN, por IP.

¿Bloquear o permitir? Cómo decidirlo

No hay una respuesta única. Depende de tu modelo de negocio y de lo que esperas de la IA.

Tiene sentido permitir el acceso si tu objetivo es la visibilidad: una marca, un ecommerce o una empresa de servicios quiere que asistentes como Claude la conozcan, la recomienden y enlacen sus páginas. Para la mayoría, la configuración equilibrada es abrir la puerta a los bots que buscan y a los que visitan por encargo y decidir caso por caso si conviene bloquear los de entrenamiento.

Tiene sentido bloquear a los bots que entrenan si tu negocio es el propio contenido: medios de pago, bases de datos, investigación propia. Muchos editores impiden que GPTBot y ClaudeBot recorran sus webs para proteger su información o porque negocian licencias con las empresas de IA.

Ten en cuenta que un bloqueo hoy no borra lo que ya se recopiló, y que lo aprendido influye en lo que el modelo "sabe" de tu marca aunque no busque en internet. Si lo cierras todo, los LLMs dependerán solo de lo que dicen otros sitios sobre ti. El bloqueo de los otros dos agentes, en cambio, casi nunca es buena idea si quieres aparecer en el asistente: te sacas tú mismo de los resultados.

Cómo ver los crawlers de IA en los logs del servidor

Los rastreadores no ejecutan JavaScript, así que las herramientas de analítica web no los ven. Para saber quién visita tu web, tienes que mirar los logs del servidor o del CDN. Cada petición queda registrada con información útil: la URL, la fecha, el código de respuesta y el nombre del agente.

En un servidor Nginx o Apache puedes filtrar los logs por el nombre del bot. Por ejemplo, este comando cuenta las visitas de un agente concreto:

grep "GPTBot" /var/log/nginx/access.log | wc -l

Con el mismo método ves qué URL visita cada agente. Fíjate en tres cosas:

• Las URL más visitadas de tu sitio. Te dicen qué contenido interesa a los LLMs.
• Los códigos de error. Un agente que recibe errores 403, 404 o 500 no puede leer tu web. Los agentes de IA abandonan más rápido que Googlebot si el servidor tarda en responder.
• Las visitas iniciadas por personas. Son la señal más cercana al tráfico real que llega desde los asistentes.

Cuidado con las suplantaciones. Cualquiera puede presentarse como GPTBot. OpenAI publica los rangos de IP de sus agentes, y conviene comprobar la IP antes de sacar conclusiones.

Errores frecuentes con los bots de IA

• Copiar un fichero de exclusión genérico que llega a bloquear a todos los agentes de IA sin revisar qué hace cada uno.
• Olvidar el CDN. Algunas protecciones antibots y algunos servicios de seguridad bloquean por defecto los crawlers de IA en los sitios nuevos. Revisa esa opción en tu panel: puede frenar a los agentes que te interesan sin que lo sepas.
• Confundir la instrucción para Gemini con Googlebot. La primera solo afecta a Gemini; el segundo, a tu presencia en el buscador.
• No revisar los logs después de un cambio. Si no quieres que ClaudeBot, de Anthropic, rastree tu web, comprueba al día siguiente que lo ha dejado de hacer. Y si quieres que un bot rastree tus páginas nuevas, verifica que llega a ellas.

Medir la actividad de los bots sin leer logs a mano

Revisar logs con grep funciona para un análisis puntual, pero no para seguir la evolución. La analítica de crawlers de Meteoria recibe los metadatos de cada petición desde tu servidor o tu CDN y muestra qué agentes de IA visitan tu sitio, en qué páginas y con qué frecuencia. Distingue el rastreo de entrenamiento (GPTBot, ClaudeBot de Anthropic) del tráfico de usuarios, que corresponde a las visitas pedidas por personas.

La integración lleva pocos minutos y funciona con Cloudflare, Vercel, CloudFront, Fastly, Netlify, Akamai, Nginx, Apache, Node.js, PHP o WordPress. La limitación: las plataformas que no muestran los logs HTTP, como Shopify o Squarespace, no permiten este tipo de medición.

Cruzar estos datos con tu visibilidad en los asistentes te da una imagen completa: qué páginas leen los modelos, cuáles citan y cuáles ignoran. Un ejemplo de lectura útil: si una guía recibe muchas visitas de los crawlers pero nunca aparece citada, el problema no es el acceso, sino el contenido o su title. Si ocurre lo contrario, y una URL citada casi no recibe visitas, probablemente el modelo la conoce por fuentes externas. Para un equipo de marketing digital, es la forma de pasar de la intuición a los datos.

Crawlers de IA, llms.txt y SEO

Abrir la puerta es el primer paso, no el último. Para que los rastreadores aprovechen tu contenido, tu sitio debe cargar rápido, mostrar el texto sin depender de JavaScript y tener una estructura clara. Algunos sitios añaden un archivo llms.txt, una guía en Markdown pensada para los LLMs; lo explicamos en nuestra guía del llms.txt.

En la era de la inteligencia artificial, los crawlers son la puerta de entrada de tu marca al ecosistema digital de los asistentes. Y recuerda que el asistente de OpenAI también busca en los resultados de los buscadores antes de responder, así que tu SEO sigue siendo la base de tu presencia digital. Si quieres entender cómo elige sus fuentes, lo explicamos en cómo aparecer en ChatGPT.