Comprobaciones / Acceso de crawlers de IA

robots.txt deja a CCBot fuera de tu página de inicio y de la mayor parte del sitio

CCBot recoge datos de entrenamiento y solo puede leer las rutas que robots.txt le permite. Es una decisión: la mayor parte de tus páginas queda fuera del entrenamiento futuro de modelos, no fuera de la búsqueda con IA.

robots_partial_ccbot · Acceso de crawlers de IA · Aviso

Qué la activa

robots.txt no deja a CCBot leer tu página de inicio, pero le deja abiertos algunos otros caminos; el hallazgo nombra los tres primeros.

Qué cambiar

Quita la regla Disallow: / para CCBot en robots.txt o añade reglas Allow para las demás rutas que quieras que lea.

Ejemplo

Líneas de robots.txt que permiten CCBot:

User-agent: CCBot
Allow: /

Cómo confirmar la corrección

Abre https://example.com/robots.txt: el grupo que nombra a CCBot (o el grupo *, si ninguno lo hace) deja abierta la mayor parte del sitio, no solo la página de inicio
Lanza un nuevo rastreo: la tabla de crawlers de IA ya no marca a CCBot como bloqueado en su mayor parte

Sobre CCBot

CCBot es el rastreador de Common Crawl, una organización sin ánimo de lucro que mantiene un repositorio abierto de datos de rastreo web que cualquiera puede consultar y analizar. Common Crawl dice que User-agent: CCBot con Disallow: / impide que rastree un sitio. Avisa también de que otros rastreadores se hacen pasar por CCBot, así que verifica las peticiones.

CCBot construye un archivo público de rastreo que otros pueden usar, mientras que GPTBot recoge contenido para los fines propios de OpenAI.

Common Crawl dice que CCBot funciona desde rangos de direcciones IP dedicados con DNS inverso (no para IPv6), así que una petición registrada se puede comprobar con una búsqueda inversa que resuelva a un nombre de host crawl.commoncrawl.org; los rangos también se publican como JSON en https://index.commoncrawl.org/ccbot.json.

Función: Archivo abierto de rastreo web. Respeta robots.txt: Sí, mediante una regla de robots.txt para CCBot.

CCBot: operador, cadena user-agent y lista de direcciones

Con qué frecuencia aparece

No hemos medido lo frecuente que es en una muestra de sitios. Las cifras aparecen aquí cuando un estudio la cubre.

Sobre esta comprobación

ID de la comprobación	`robots_partial_ccbot`
Sección del informe	Acceso de crawlers de IA
Gravedad	Aviso
Cómo se decide	Medida: se lee directamente de la página o de la respuesta del servidor.
Añadida	Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión
Estado	Medida en cada informe
El informe da el código	Sí, un bloque para todo el sitio

Ajustes por plataforma

En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.

Comprobaciones relacionadas

Mira si afecta a tu sitio

Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.

Comprobar mi sitio gratis

Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.

Cómo funciona una auditoría: método