Estudio, datos recopilados el 2026-10-20, actualizado el 2026-10-22
Revisamos 751 sitios populares de México, Estados Unidos y Canadá: ¿quién deja entrar a los rastreadores de IA?
En octubre de 2026 leímos el robots.txt de 751 sitios populares contra 20 rastreadores de IA. El 20.2% de los sitios mexicanos bloquea al menos un rastreador de entrenamiento de IA, frente a 29.3% en nuestra muestra de Estados Unidos y 13.2% en Canadá. En México y en la muestra de Estados Unidos, la mayoría de los sitios que se excluyen del entrenamiento también bloquea al menos un rastreador de búsqueda con IA (59% y 64%).
Las cifras principales
Cada porcentaje es una proporción de los sitios que dieron un veredicto: 243 en México, 266 en la muestra de Estados Unidos y 242 en Canadá, de 300 muestreados en cada caso. Los 8 rastreadores de entrenamiento y los 7 de búsqueda con IA son los grupos de nuestra referencia de rastreadores.
| Porcentaje de sitios que | México | EE. UU.* | Canadá |
|---|---|---|---|
| Tienen un veredicto (de 300 en la muestra) | 243 | 266 | 242 |
| Bloquean al menos un rastreador de entrenamiento | 20.2% | 29.3% | 13.2% |
| Bloquean los 8 rastreadores de entrenamiento | 2.9% | 9.0% | 2.5% |
| Bloquean al menos un rastreador de búsqueda con IA | 11.9% | 18.8% | 6.6% |
| Bloquean el entrenamiento y además al menos uno de búsqueda (proporción de los sitios que bloquean el entrenamiento) | 59% | 64% | 47% |
Publican un llms.txt válido (con # Title) | 9.1% | 11.3% | 8.3% |
| Declaran un sitemap en robots.txt | 60.9% | 62.8% | 48.8% |
*La muestra de Estados Unidos es un sustituto: los dominios .com más populares (globales, con mucho peso de EE. UU.) más .gov y .edu.
- La muestra de EE. UU. tiene cerca del doble de probabilidad que Canadá de bloquear rastreadores de entrenamiento (29.3% contra 13.2%). México queda en medio con 20.2%.
- Excluirse por completo es raro: entre 2.5% y 9.0% bloquea los ocho rastreadores de entrenamiento.
- El traslape es grande. Solo 41% de los sitios mexicanos, 36% de la muestra de EE. UU. y 53% de los canadienses que se excluyen del entrenamiento dejan abiertos todos los rastreadores de búsqueda con IA.
- Cerca de 1 de cada 10 sitios publica un llms.txt válido en las tres muestras, sobre todo medios, universidades y grandes plataformas. Algunos ejemplos: github.com, wordpress.com y adobe.com en la muestra de EE. UU., forbes.com.mx e ibero.mx en México, y queensu.ca y quebec.ca en Canadá. El formato está en la guía de llms.txt.
- Menos sitios canadienses declaran un sitemap en robots.txt (48.8% contra 60.9% en México y 62.8% en la muestra de EE. UU.). Una línea
Sitemap:lo resuelve.
Por rastreador
Porcentaje de sitios con veredicto que bloquean cada rastreador. Estas cifras incluyen los bloqueos parciales.
| Rastreador | Grupo | México | EE. UU.* | Canadá |
|---|---|---|---|---|
| GPTBot | Entrenamiento | 14.4% | 20.7% | 9.5% |
| ClaudeBot | Entrenamiento | 13.2% | 22.6% | 7.0% |
| Google-Extended | Entrenamiento | 11.1% | 19.2% | 5.8% |
| Applebot-Extended | Entrenamiento | 11.1% | 19.9% | 5.4% |
| CCBot | Entrenamiento | 11.1% | 24.4% | 9.9% |
| Meta-ExternalAgent | Entrenamiento | 12.3% | 19.2% | 6.6% |
| Amazonbot | Entrenamiento | 12.8% | 18.4% | 5.0% |
| Bytespider | Entrenamiento | 10.3% | 24.4% | 6.6% |
| OAI-SearchBot | Búsqueda con IA | 7.8% | 10.2% | 3.7% |
| Claude-SearchBot | Búsqueda con IA | 8.2% | 12.8% | 3.3% |
| PerplexityBot | Búsqueda con IA | 9.9% | 16.9% | 6.2% |
| Googlebot | Búsqueda con IA | 0.8% | 1.5% | 0.0% |
| Applebot | Búsqueda con IA | 1.6% | 2.6% | 1.2% |
| Amzn-SearchBot | Búsqueda con IA | 8.2% | 10.2% | 1.7% |
| DuckAssistBot | Búsqueda con IA | 7.8% | 12.0% | 1.7% |
| ChatGPT-User | Consulta de usuario | 7.8% | 11.7% | 5.4% |
| Claude-User | Consulta de usuario | 9.5% | 12.8% | 2.1% |
| Perplexity-User | Consulta de usuario | 9.5% | 13.9% | 2.1% |
| Meta-ExternalFetcher | Consulta de usuario | 9.1% | 12.8% | 2.5% |
| Amzn-User | Consulta de usuario | 7.4% | 9.4% | 1.2% |
- El rastreador más bloqueado cambia según el país. México: GPTBot (14.4%), luego ClaudeBot (13.2%) y Amazonbot (12.8%). Muestra de EE. UU.: Bytespider y CCBot empatan con 24.4%, luego ClaudeBot con 22.6%. Canadá: CCBot (9.9%) y GPTBot (9.5%).
- El rastreador de búsqueda de ChatGPT se bloquea la mitad de las veces que GPTBot, o menos: OAI-SearchBot contra GPTBot es 7.8% contra 14.4% en México, 10.2% contra 20.7% en la muestra de EE. UU. y 3.7% contra 9.5% en Canadá.
- PerplexityBot es el rastreador de búsqueda con IA más bloqueado en las tres muestras: 9.9%, 16.9% y 6.2%.
- Googlebot está bloqueado en 0.8%, 1.5% y 0.0% de los sitios, y Applebot en 1.6%, 2.6% y 1.2%.
- Los cinco rastreadores que actúan a pedido de un usuario se bloquean entre 7.4% y 9.5% en México, entre 9.4% y 13.9% en la muestra de EE. UU. y entre 1.2% y 5.4% en Canadá. Varias empresas dicen que robots.txt puede no aplicarles, así que estas cifras muestran lo que los sitios piden, no lo que se hace cumplir.
Por qué excluirse del entrenamiento a menudo bloquea también la búsqueda
No registramos qué regla produjo cada bloqueo, así que no podemos dividir el traslape por causa. Dos datos apuntan en contra de las reglas para todo el sitio. Un Disallow: / bajo User-agent: * bloquearía también a Googlebot, a menos que el sitio le dé a Googlebot su propio grupo, y Googlebot está bloqueado en 0.8% de los sitios mexicanos, 1.5% de la muestra de EE. UU. y en ninguno de los canadienses. Además, en México los cinco rastreadores de búsqueda que no son Googlebot ni Applebot se bloquean entre 7.8% y 9.9%, cerca del 10.3% al 14.4% de los ocho rastreadores de entrenamiento. Eso encaja con listas de bloqueo que nombran juntos a los rastreadores de entrenamiento y de búsqueda, como una lista copiada. Lo tomamos como la causa probable, no como algo medido.
Si quieres excluirte del entrenamiento y seguir apareciendo en las citas, pon solo los tokens de entrenamiento en tu lista de bloqueo y deja permitidos a OAI-SearchBot, Claude-SearchBot y PerplexityBot. La guía de robots.txt trae un archivo para copiar. Después revisa la configuración de tu CDN y de tu firewall, que este estudio no pudo ver.
Método
- Muestras. Majestic Million, lista del 2026-10-20. México: los 300 dominios raíz más altos bajo
.mx. Canadá: los 300 más altos bajo.ca. Sustituto de EE. UU.: los 200.commás altos, los 50.govy los 50.edu. Majestic ordena por subredes que enlazan, no por tráfico. - Solicitudes.
/robots.txt,/llms.txty/llms-full.txtde cada dominio, nada más. Una solicitud a la vez por dominio, con tiempos de espera y un agente de usuario honesto:AtalayaBot/0.1 (+https://apify.com/atalaya-ai). - Análisis. RFC 9309: coincidencia de grupos de user-agent, coincidencia más larga y Allow gana los empates. Los 20 tokens forman 3 grupos: 8 de entrenamiento de modelos, 7 de búsqueda con IA y 5 que actúan a pedido de un usuario. Un bloqueo incluye los bloqueos parciales de la raíz del sitio.
- Sin veredicto. Hosts inalcanzables, robots.txt que responde 401, 403, 429 o 5xx, y respuestas no concluyentes: 149 dominios (México 57, Canadá 58, muestra de EE. UU. 34). Quedan fuera de todos los porcentajes, por eso se cuentan 751 de 900 dominios.
Límites
- robots.txt es una declaración, no una forma de hacer cumplir. Muchos sitios bloquean bots de IA en un CDN o firewall (por ejemplo con productos de manejo de bots) y este estudio no puede verlo. El bloqueo real probablemente es mayor que estas cifras.
- Los sitios que quedaron fuera por responder 401, 403, 429 o 5xx en robots.txt pueden incluir algunos que bloquean solicitudes automatizadas, lo que también subiría el bloqueo real.
- Cada país tiene entre 242 y 266 sitios con veredicto. Trata las diferencias de pocos puntos como ruido.
- La columna de EE. UU. no es solo de EE. UU.:
.comincluye marcas globales. - La popularidad por enlaces no es tráfico, y esto es una sola fotografía tomada el 2026-10-20.
Datos y créditos
Las listas de dominios vienen del Majestic Million de Majestic-12 Ltd, con licencia CC BY 3.0. Las revisiones se hicieron con nuestro AI Crawler Access Checker en Apify.
Revisa tu sitio
Nuestra revisión gratuita lee tu robots.txt como lo leen los 20 rastreadores y te muestra la línea que decide cada caso.