Comprobaciones / Acceso de crawlers de IA
robots.txt deja a ClaudeBot fuera de tu página de inicio y de la mayor parte del sitio
ClaudeBot recoge datos de entrenamiento y solo puede leer las rutas que robots.txt le permite. Es una decisión: la mayor parte de tus páginas queda fuera del entrenamiento futuro de modelos, no fuera de la búsqueda con IA.
robots_partial_claudebot · Acceso de crawlers de IA · Aviso
Qué la activa
robots.txt no deja a ClaudeBot leer tu página de inicio, pero le deja abiertos algunos otros caminos; el hallazgo nombra los tres primeros.
Qué cambiar
Quita la regla Disallow: / para ClaudeBot en robots.txt o añade reglas Allow para las demás rutas que quieras que lea.
Ejemplo
Líneas de robots.txt que permiten ClaudeBot:
User-agent: ClaudeBot
Allow: /Cómo confirmar la corrección
- Abre https://example.com/robots.txt: el grupo que nombra a ClaudeBot (o el grupo *, si ninguno lo hace) deja abierta la mayor parte del sitio, no solo la página de inicio
- Lanza un nuevo rastreo: la tabla de crawlers de IA ya no marca a ClaudeBot como bloqueado en su mayor parte
Sobre ClaudeBot
ClaudeBot es el rastreador de Anthropic para contenido que podría contribuir al entrenamiento de modelos. Un Disallow en robots.txt indica que los materiales futuros de un sitio deben excluirse de los conjuntos de datos de entrenamiento. Anthropic respeta Crawl-delay y avisa de que bloquear sus direcciones IP puede impedir que lea robots.txt, así que usa robots.txt.
Un robot de búsqueda aparte: bloquear ClaudeBot no le afecta.
El artículo de Anthropic dice que sus robots respetan las señales de «no rastrear» de robots.txt y que no intentarán saltarse los CAPTCHA. Admite la directiva no estándar Crawl-delay, por ejemplo `User-agent: ClaudeBot` seguido de `Crawl-delay: 1`. Dice también que bloquear por dirección IP puede no dar una exclusión duradera, porque impide que el robot lea robots.txt. El artículo de Anthropic indica que robots.txt debe configurarse en cada subdominio del que quieras excluirte.
Función: Entrenamiento. Respeta robots.txt: Sí, sigue robots.txt y Crawl-delay.
ClaudeBot: operador, cadena user-agent y lista de direcciones
Con qué frecuencia aparece
No hemos medido lo frecuente que es en una muestra de sitios. Las cifras aparecen aquí cuando un estudio la cubre.
Sobre esta comprobación
| ID de la comprobación | robots_partial_claudebot |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Aviso |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | Sí, un bloque para todo el sitio |
Ajustes por plataforma
En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.
Comprobaciones relacionadas
- robots.txt bloquea a GPTBot
- robots.txt deja a CCBot fuera de tu página de inicio y de la mayor parte del sitio
- robots.txt deja a Google-Extended fuera de tu página de inicio y de la mayor parte del sitio
- robots.txt deja a GPTBot fuera de tu página de inicio y de la mayor parte del sitio
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método