Comprobaciones / Acceso de crawlers de IA
robots.txt bloquea a ClaudeBot
Bloquea a ClaudeBot, que recopila datos de entrenamiento. Esto mantiene tus páginas fuera del entrenamiento de futuros modelos, no fuera de ChatGPT ni de otras búsquedas con IA.
robots_claudebot · Acceso de crawlers de IA · Aviso
Qué la activa
robots.txt no deja a ClaudeBot leer tu página de inicio (una regla Disallow en su propio grupo, o en el grupo * cuando ningún grupo lo nombra) y no le deja ningún otro camino abierto.
Qué cambiar
Solo si quieres que tus páginas entren en el entrenamiento de futuros modelos: elimina la regla Disallow para ClaudeBot. La inclusión en la búsqueda depende de Claude-SearchBot.
Ejemplo
Líneas de robots.txt que permiten ClaudeBot:
User-agent: ClaudeBot
Allow: /Cómo confirmar la corrección
- Abre https://example.com/robots.txt: ningún grupo que nombre a ClaudeBot (o el grupo *, si ninguno lo hace) prohíbe la página de inicio
- Lanza un nuevo rastreo: la tabla de crawlers de IA muestra a ClaudeBot como permitido
Sobre ClaudeBot
ClaudeBot es el rastreador de Anthropic para contenido que podría contribuir al entrenamiento de modelos. Un Disallow en robots.txt indica que los materiales futuros de un sitio deben excluirse de los conjuntos de datos de entrenamiento. Anthropic respeta Crawl-delay y avisa de que bloquear sus direcciones IP puede impedir que lea robots.txt, así que usa robots.txt.
Anthropic dice que una restricción indica que los materiales futuros del sitio deben excluirse de sus conjuntos de datos de entrenamiento. La redacción dice «materiales futuros»; no dice qué pasa con el contenido ya recogido. Los otros dos robots de Claude son independientes, así que bloquear ClaudeBot no toca sus reglas.
Función: Entrenamiento. Respeta robots.txt: Sí, sigue robots.txt y Crawl-delay.
ClaudeBot: operador, cadena user-agent y lista de direcciones
Con qué frecuencia aparece
En una muestra, el estudio midió los sitios cuyo robots.txt bloquea ClaudeBot: 10 de 294 sitios de Show HN (3 %) y 0 de 67 sitios de Lovable (0 %).
Descargado los días 20 y 21 de oct. de 2026 como CitedBot, robots.txt respetado, sin JavaScript. Estudio: Launch crawl 2026-10 (inglés).
Sobre esta comprobación
| ID de la comprobación | robots_claudebot |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Aviso |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | Sí, un bloque para todo el sitio |
Ajustes por plataforma
En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.
Comprobaciones relacionadas
- Sin llms.txt (opcional)
- robots.txt bloquea a CCBot
- robots.txt bloquea a Google-Extended
- robots.txt bloquea a GPTBot
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método