Referencia, actualizada el 2026-10-22
Referencia de rastreadores de IA 2026: 20 bots, sus tokens de robots.txt y qué pasa si los bloqueas
Veinte agentes de usuario de IA visitan sitios web para tres trabajos distintos: recopilar datos para entrenar modelos, alimentar la búsqueda con IA y traer una página porque un usuario lo pidió. El trabajo define qué te cuesta bloquearlos. Las empresas documentan tokens de robots.txt separados para entrenamiento y para búsqueda, así que bloquear un rastreador de entrenamiento no te saca de la búsqueda con IA de esa empresa. Bloquear uno de búsqueda sí puede.
Cómo leer esta lista
Cada token es lo que escribes después de User-agent: en robots.txt, sin distinguir mayúsculas de minúsculas. Revisamos la lista por última vez contra la documentación de las empresas el 2026-10-19, con enlaces al final. OpenAI documenta además OAI-AdsBot, que solo visita páginas enviadas como anuncios en ChatGPT. No es uno de nuestros 20.
Entrenamiento de modelos: 8 rastreadores
Bloquearlos le dice a la empresa que no entrene con tus páginas.
| Token | Empresa | Qué hace | Si lo bloqueas |
|---|---|---|---|
| GPTBot | OpenAI | Rastrea contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI. | Indica que tu contenido no debe usarse para entrenamiento. La búsqueda de ChatGPT usa otro token, OAI-SearchBot. |
| ClaudeBot | Anthropic | Recopila contenido web que puede contribuir al entrenamiento de los modelos de Anthropic. | Indica que tu contenido futuro debe excluirse de los conjuntos de entrenamiento. La búsqueda y las consultas de usuario de Claude usan otros tokens. |
| Google-Extended | Un token independiente, no un visitante aparte. Controla si el contenido que Google ya rastrea se usa para entrenar Gemini y para fundamentar respuestas (grounding) en Gemini Apps y Vertex AI. | Google dice que no afecta la inclusión en la Búsqueda de Google ni el posicionamiento. Sí cubre el grounding de Gemini. | |
| Applebot-Extended | Apple | Un token que controla si el contenido que rastrea Applebot se usa para entrenar los modelos fundacionales de IA generativa de Apple. | No detiene a Applebot, que alimenta las funciones de búsqueda de Apple. |
| CCBot | Common Crawl | Construye el conjunto de datos abierto Common Crawl, que muchos laboratorios de IA usan como fuente de entrenamiento. | Evita que CCBot rastree tu sitio. Es un rastreador de datos, no un producto de búsqueda. |
| Meta-ExternalAgent | Meta | Rastrea la web para entrenar modelos fundacionales de IA o para mejorar productos indexando contenido directamente. | Cubre ambos usos, según los describe Meta. Meta-ExternalFetcher es un token aparte. |
| Amazonbot | Amazon | Mejora los productos y servicios de Amazon y puede usarse para entrenar modelos de IA de Amazon. | Amazon dice que cada configuración de sus agentes de usuario es independiente. La búsqueda de Alexa usa Amzn-SearchBot. |
| Bytespider | ByteDance | Rastreador que suele atribuirse a la recolección de datos para IA y LLM. No encontramos documentación propia de ByteDance. | Reportes de terceros dicen que puede no respetar robots.txt, así que una regla quizá no lo detenga. |
Búsqueda con IA: 7 rastreadores
Estos indexan u obtienen páginas para que un producto las muestre, con enlaces, en sus respuestas de IA. Bloquear uno puede dejarte fuera de las respuestas de ese producto.
| Token | Empresa | Qué hace | Si lo bloqueas |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Muestra sitios web en las funciones de búsqueda de ChatGPT. | OpenAI dice que los sitios que se excluyen no aparecen en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación. |
| Claude-SearchBot | Anthropic | Indexa contenido para mejorar la relevancia y la precisión de los resultados de búsqueda de Claude. | Anthropic dice que desactivarlo puede reducir tu visibilidad y la precisión en los resultados de búsqueda de Claude. |
| PerplexityBot | Perplexity | Muestra y enlaza sitios web en los resultados de búsqueda de Perplexity. No se usa para entrenar modelos fundacionales. | Perplexity recomienda permitirlo, junto con sus rangos de IP publicados, si quieres aparecer en los resultados. |
| Googlebot | El rastreador de la Búsqueda de Google. | Afecta a la Búsqueda de Google en sí. Google documenta el acceso de Googlebot más nosnippet, max-snippet y noindex como los controles de AI Overviews y AI Mode. | |
| Applebot | Apple | Alimenta funciones de búsqueda de Apple como Spotlight, Siri y Safari. Los datos rastreados también pueden alimentar respuestas de IA, salvo que uses nosnippet. | Puede dejarte fuera de esas funciones. Si robots.txt nombra a Googlebot pero no a Applebot, Applebot sigue las reglas de Googlebot. |
| Amzn-SearchBot | Amazon | Mejora las experiencias de búsqueda en productos de Amazon como Alexa. No se usa para entrenar IA generativa. | Puede dejarte fuera de esas experiencias de búsqueda. Amazon dice que un cambio puede tardar unas 24 horas. |
| DuckAssistBot | DuckDuckGo | Rastrea páginas en tiempo real para respuestas asistidas por IA que citan sus fuentes. No se usa para entrenar modelos de IA. | DuckDuckGo dice que excluirte no afecta el posicionamiento orgánico ni si apareces en sus resultados de búsqueda. Surte efecto después de 72 horas. |
Consulta de un usuario: 5 rastreadores
Estos traen una sola URL porque una persona le preguntó algo a un asistente. En cuatro de los cinco, la empresa dice que robots.txt puede no aplicar. Anthropic documenta a Claude-User como algo que sí puedes controlar con robots.txt.
| Token | Empresa | Qué hace | Si lo bloqueas |
|---|---|---|---|
| ChatGPT-User | OpenAI | Visita una página cuando un usuario de ChatGPT, o un GPT personalizado, pregunta por ella. | OpenAI dice que las reglas de robots.txt pueden no aplicar porque el usuario inició la solicitud, y que este agente no decide si apareces en la búsqueda de ChatGPT. |
| Claude-User | Anthropic | Obtiene una página cuando un usuario de Claude hace una pregunta que la necesita. | Anthropic dice que desactivarlo impide obtener tu contenido para la consulta de un usuario y puede reducir tu visibilidad en la búsqueda web dirigida por el usuario. |
| Perplexity-User | Perplexity | Visita una página para responder a un usuario de Perplexity y la enlaza en la respuesta. | Perplexity dice que por lo general ignora robots.txt porque un usuario pidió la visita. |
| Meta-ExternalFetcher | Meta | Obtiene enlaces individuales a petición de un usuario para apoyar funciones del asistente Meta AI. | Meta dice que puede saltarse robots.txt porque la visita la pide un usuario. |
| Amzn-User | Amazon | Obtiene información en vivo para la pregunta de un cliente, por ejemplo en Alexa. No se usa para entrenamiento. | Amazon dice que las visitas iniciadas por un usuario pueden no seguir todas las directivas de robots.txt. |
El robots.txt para copiar
Esto excluye los ocho tokens de entrenamiento y deja a todos los demás, incluidos los rastreadores de búsqueda, con acceso normal. Combínalo con tus reglas actuales; la guía de robots.txt lo explica.
# Excluirse del entrenamiento de modelos de IA
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Bytespider
Disallow: /
# Todos los demás, incluidos los rastreadores de búsqueda con IA
User-agent: *
Allow: /Tres reglas que confunden a la gente
- Un rastreador sigue el grupo más específico que lo nombra. En cuanto agregas un grupo para OAI-SearchBot, tus reglas de
User-agent: *dejan de aplicarle (RFC 9309). - Applebot recurre a Googlebot. Si tu robots.txt nombra a Googlebot pero no a Applebot, Apple dice que Applebot sigue las reglas de Googlebot. Nombra a Applebot si quieres algo distinto.
- Los cambios no son inmediatos. OpenAI dice que los resultados de búsqueda pueden tardar unas 24 horas en ajustarse a un cambio de robots.txt, Amazon dice que unas 24 horas y DuckDuckGo dice que 72 horas.
Bloqueos que robots.txt no muestra
Los bloqueos que se configuran en un CDN, un firewall o un servicio contra bots ocurren antes de que se lea robots.txt. Un sitio puede permitir a todos los rastreadores en robots.txt y aun así responderles con un 403. Revisa la configuración de bots de IA de cualquier servicio así y permite a los rastreadores de búsqueda que quieras conservar.
OpenAI, Perplexity y Anthropic publican los rangos de IP de sus rastreadores, y Perplexity documenta cómo permitir sus bots en Cloudflare y AWS WAF. Anthropic advierte que bloquear sus direcciones IP puede impedirle leer tu robots.txt, así que usa robots.txt para excluirte. Common Crawl dice que otros rastreadores se hacen pasar por CCBot y ofrece DNS inverso para verificar al verdadero.
Documentación de cada empresa
- OpenAI
- Anthropic
- Perplexity
- Google: AI features y common crawlers
- Apple
- Common Crawl
- Meta
- Amazon
- DuckDuckGo
- ByteDance: no encontramos una página propia; la lista de bots de Cloudflare incluye a Bytespider
Revisa tu sitio
Nuestra revisión gratuita aplica estos 20 tokens a tu robots.txt como lo leen los rastreadores y te muestra la línea que decide cada caso. En nuestro estudio de 751 sitios populares, 11.9% de los sitios mexicanos, 18.8% de la muestra de EE. UU. y 6.6% de los canadienses bloqueaban al menos un rastreador de búsqueda con IA. Para el otro archivo que pueden consultar las herramientas de IA, mira la guía de llms.txt.