Herramienta gratis, funciona en tu navegador
Generador de robots.txt para IA
Elige qué rastreadores de IA pueden usar tu sitio y copia las reglas en tu /robots.txt. La opción inicial te mantiene en la búsqueda de ChatGPT, Claude, Perplexity y Google, y te excluye del entrenamiento de modelos.
Bloquear Googlebot o Applebot también saca tu sitio de la búsqueda de Google o de Apple. Para excluirte solo del entrenamiento de Gemini o de Apple, bloquea Google-Extended o Applebot-Extended.
Después, revísalo
robots.txt es solo la mitad: Cloudflare y otras CDN pueden bloquear a los rastreadores de IA antes de que lean robots.txt. Cuando publiques el archivo, usa la revisión gratis de rastreadores de IA para ver, en 20 rastreadores, si tu sitio los deja entrar y qué regla lo decide.
Qué significa cada categoría
- Entrenamiento: junta contenido que puede entrenar modelos de IA (GPTBot, ClaudeBot, Google-Extended, CCBot...). Bloquearlo no te saca de la búsqueda con IA.
- Búsqueda: indexa páginas para que la búsqueda con IA las cite (OAI-SearchBot, Claude-SearchBot, PerplexityBot...). Bloquearlo te deja fuera de esas respuestas.
- Petición del usuario: trae una página cuando alguien le pregunta al asistente por ella (ChatGPT-User, Claude-User, Perplexity-User).
Más detalle: los tres rastreadores de OpenAI, bloquear el entrenamiento de IA sin salir de la búsqueda y nuestro estudio de 751 sitios.