Comprobaciones / Acceso de crawlers de IA
Tu cortafuegos o CDN rechaza a los crawlers de búsqueda con IA
Nuestra petición de prueba con el user agent de un crawler de búsqueda con IA fue rechazada (403, 429, página de verificación o timeout), mientras que un navegador obtuvo la página. Los crawlers reales aún pueden pasar si tu CDN los verifica por IP, así que revisa los logs de tu CDN.
waf_blocks_bots · Acceso de crawlers de IA · Error
Qué cambiar
En Cloudflare, Akamai, Sucuri o el WAF de tu hosting, permite los crawlers de búsqueda con IA verificados (OAI-SearchBot, PerplexityBot, Claude-SearchBot) o desactiva 'Block AI bots'.
Con qué frecuencia aparece
En una muestra, el estudio midió los cortafuegos que rechazan una petición real de un rastreador de búsqueda en la página de inicio: 3 de 293 sitios de Show HN (1 %) y 0 de 66 sitios de Lovable (0 %).
Descargado los días 20 y 21 de oct. de 2026 como CitedBot, robots.txt respetado, sin JavaScript. Estudio: Launch crawl 2026-10 (inglés).
Sobre esta comprobación
| ID de la comprobación | waf_blocks_bots |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Error |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | No, la corrección se describe en el texto |
Comprobaciones relacionadas
- Tu cortafuegos o CDN rechaza a los crawlers de entrenamiento de IA
- El sitio no se sirve por HTTPS
- Páginas con estado de error
- robots.txt bloquea a ChatGPT-User
- robots.txt bloquea a Claude-SearchBot
- robots.txt bloquea a Claude-User
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método