Atalaya AI
ENES
Revisar mi sitio

Guía, actualizada el 2026-10-24

Cloudflare dice permitir, pero los rastreadores de IA siguen bloqueados

Tu robots.txt deja pasar a OAI-SearchBot, Claude-SearchBot y PerplexityBot, y aun así la búsqueda con IA no puede leer tus páginas. Si tu sitio pasa por Cloudflare, el bloqueo suele estar en el borde: Cloudflare le responde al rastreador antes de que tu robots.txt importe. Es una de las dudas más comunes en el foro de Cloudflare. Revisa estos cinco lugares, en este orden.

1. Políticas de bots de IA (Security settings)

Cloudflare agrupa a los rastreadores de IA por comportamiento: Search (indexan tu contenido para responder después), Agent (consultan en tiempo real por una persona, como los asistentes de chat) y Training (entrenamiento). Cada uno se puede poner en Block (on all pages), Block on pages with ads o Allow, en Security Settings > Configure AI bot policies.

Dos detalles confunden a mucha gente:

  • Valores por defecto nuevos desde el 15 de septiembre de 2026. En dominios nuevos, los bots de Training y Agent se bloquean en páginas con anuncios, y Search sigue permitido. Si tus páginas muestran anuncios, los asistentes de chat (categoría Agent de Cloudflare) pueden quedar bloqueados ahí aunque nunca hayas tocado el ajuste.
  • Los rastreadores de uso mixto cuentan como Training. Un rastreador que sirve para entrenamiento y para búsqueda queda bloqueado con cualquier opción que bloquee entrenamiento. Bloquear el entrenamiento puede sacarte de parte de la búsqueda con IA.

2. El interruptor antiguo "Block AI bots"

El ajuste de un clic Block AI bots se está reemplazando por las políticas de arriba (Cloudflare lo marca como obsoleto desde el 15 de septiembre de 2026). Si sigue activo en tu zona, bloquea los bots verificados clasificados como entrenamiento de IA y bots no verificados que se comportan igual. En el foro también reportan rastreadores de búsqueda atrapados por él. Si quieres el entrenamiento apagado y la búsqueda encendida, usa las políticas por comportamiento o las acciones por rastreador.

3. AI Crawl Control, rastreador por rastreador

Entra a AI Crawl Control > Crawlers. Cada rastreador de IA que te visitó tiene una fila con sus solicitudes y una columna Action (Allow o Block). Pon en Allow los rastreadores de búsqueda que quieras.

Lee con cuidado el conteo de Unsuccessful. La documentación de Cloudflare dice que esas solicitudes fallidas pueden venir de cualquier regla o error de respuesta, así que el bloqueo de AI Crawl Control es solo una causa posible. Un conteo alto con Allow seleccionado significa que algo más estorba, casi siempre el paso 4 o una regla del WAF.

4. Bot Fight Mode

Bot Fight Mode (gratis) le pone desafíos al tráfico que se parece a bots conocidos. No corre en el motor de reglas, así que ni las reglas personalizadas del WAF ni las Page Rules pueden saltarlo: Skip, Bypass y Allow no le afectan. Si ves rastreadores de búsqueda con IA fallando y Bot Fight Mode está activo, prueba apagándolo (Security Settings, filtro Bot traffic). En planes de pago, Super Bot Fight Mode sí corre en el motor de reglas y acepta reglas Skip para el tráfico que quieras dejar pasar.

Revisa también tus reglas personalizadas del WAF y las IP Access rules por cualquier cosa que coincida con "bot", agentes de usuario o las redes de los rastreadores. El tráfico de bots de IA bloqueado aparece en Security Analytics.

5. robots.txt administrado (Bot Preference Sync)

El robots.txt que leen los rastreadores puede no ser el archivo que subiste. Con Bot Preference Sync activo y al menos una política de IA en bloqueo, Cloudflare agrega al inicio su propio bloque administrado (empieza con # BEGIN Cloudflare Managed content) y la Content Signals Policy. Si tu servidor no tiene robots.txt, Cloudflare crea uno con reglas Disallow para rastreadores de IA conocidos. Los dominios del plan gratuito sin robots.txt propio muestran la Content Signals Policy.

Abre https://tusitio.com/robots.txt en el navegador y lee el inicio. Si un bloque administrado prohíbe un rastreador que quieres, cambia la política del paso 1; editar tu propio archivo no quita la parte agregada.

Lo que robots.txt puede y no puede decirte

robots.txt es una petición pública. Los bloqueos en el borde (respuestas 403, desafíos) pasan antes de leerlo y no se ven desde fuera. Nuestra revisión gratis lee tu robots.txt como lo leen 20 rastreadores de IA, te avisa si el sitio está detrás de Cloudflare (por su DNS) y muestra el bloque administrado de Cloudflare si existe. No se hace pasar por un rastreador, así que para los bloqueos en el borde la verdad está en los paneles de arriba.

Revisa tu sitio

Fuentes

  • Documentación de Cloudflare, Block AI Bots (políticas, valores por defecto nuevos, rastreadores mixtos), actualizada el 2026-07-01.
  • Documentación de Cloudflare, Manage AI crawlers (acciones por rastreador, solicitudes fallidas), actualizada el 2026-07-28.
  • Documentación de Cloudflare, Bot Fight Mode (sin Skip del WAF, Super Bot Fight Mode), actualizada el 2026-08-03.
  • Documentación de Cloudflare, robots.txt setting (Bot Preference Sync, contenido agregado, caso sin archivo), actualizada el 2026-10-22.
  • Hilos del foro de Cloudflare sobre rastreadores de IA bloqueados con los ajustes en permitir (2025-2026), resumidos en nuestras notas de investigación.