Comprobaciones / Acceso de crawlers de IA

robots.txt bloquea a ClaudeBot

Bloquea a ClaudeBot, que recopila datos de entrenamiento. Esto mantiene tus páginas fuera del entrenamiento de futuros modelos, no fuera de ChatGPT ni de otras búsquedas con IA.

robots_claudebot · Acceso de crawlers de IA · Aviso

Qué cambiar

Solo si quieres que tus páginas entren en el entrenamiento de futuros modelos: elimina la regla Disallow para ClaudeBot. La inclusión en la búsqueda depende de Claude-SearchBot.

Ejemplo

Líneas de robots.txt que permiten ClaudeBot:

User-agent: ClaudeBot
Allow: /

Con qué frecuencia aparece

En una muestra, el estudio midió los sitios cuyo robots.txt bloquea ClaudeBot: 10 de 294 sitios de Show HN (3 %) y 0 de 67 sitios de Lovable (0 %).

Descargado los días 20 y 21 de oct. de 2026 como CitedBot, robots.txt respetado, sin JavaScript. Estudio: Launch crawl 2026-10 (inglés).

Sobre esta comprobación

ID de la comprobación	`robots_claudebot`
Sección del informe	Acceso de crawlers de IA
Gravedad	Aviso
Cómo se decide	Medida: se lee directamente de la página o de la respuesta del servidor.
Añadida	Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión
Estado	Medida en cada informe
El informe da el código	Sí, un bloque para todo el sitio

Ajustes por plataforma

En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.

Comprobaciones relacionadas

Mira si afecta a tu sitio

Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.

Comprobar mi sitio gratis

Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.

Cómo funciona una auditoría: método