Comprobaciones / Acceso de crawlers de IA
Tu cortafuegos o CDN rechaza a los crawlers de entrenamiento de IA
Nuestra petición de prueba con el user agent de un crawler de entrenamiento (GPTBot, ClaudeBot) fue rechazada, mientras que un navegador obtuvo la página. Esto mantiene las páginas fuera del entrenamiento de modelos, no fuera de la búsqueda con IA.
waf_blocks_training_bots · Acceso de crawlers de IA · Aviso
Qué la activa
Una petición de tu página de inicio que nombra GPTBot o ClaudeBot en su user agent recibe algo distinto de 200 (o ninguna respuesta en 15 segundos, dos veces) mientras que una petición de navegador recibe 200.
Qué cambiar
Permite el crawler verificado en tu WAF solo si quieres que tus páginas entren en el entrenamiento de modelos.
Con qué frecuencia aparece
No hemos medido lo frecuente que es en una muestra de sitios. Las cifras aparecen aquí cuando un estudio la cubre.
Sobre esta comprobación
| ID de la comprobación | waf_blocks_training_bots |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Aviso |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | No, la corrección se describe en el texto |
Comprobaciones relacionadas
- robots.txt deja a Google-Extended fuera de tu página de inicio y de la mayor parte del sitio
- robots.txt deja a GPTBot fuera de tu página de inicio y de la mayor parte del sitio
- El sitio no se sirve por HTTPS
- Páginas con estado de error
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método