Comprobaciones / Enlaces, canonical y velocidad
Páginas que rechazan a nuestro rastreador o no responden
Algunas páginas del sitio respondieron 429 (demasiadas peticiones), rechazaron al rastreador (401, 403 o una página de verificación) o no respondieron a tiempo en un segundo intento. Los buscadores y los rastreadores de IA se topan con los mismos muros: 429 o tiempos de espera repetidos les hacen ir más despacio o dejar de rastrear el sitio, y las páginas rechazadas no se leen. Las dejamos fuera de las comprobaciones de página, así que este es el único sitio donde aparecen.
crawl_refused · Enlaces, canonical y velocidad · Advertencia
Qué cambiar
Ajusta la solución a lo que hizo la página. 429: sirve esas páginas desde una caché o un resultado estático y sube el límite de peticiones para rastreadores; mantén Retry-After corto. 401, 403 o una página de verificación: permite a CitedBot en la regla del cortafuegos que lo bloquea; la prueba de bots de este informe muestra cuáles pasan. Sin respuesta: busca la ruta que calcula un resultado en vivo en la primera solicitud y sirve en su lugar un resultado guardado o un formulario. Si Googlebot y OAI-SearchBot verificados reciben un 200 en estas páginas y solo se rechaza a nuestro rastreador, el muro es una regla contra bots desconocidos, y puedes dejarlo.
Con qué frecuencia aparece
En las auditorías de nuestros propios sitios del 26 de oct. de 2026 (4 sitios): hallazgo juzgado correcto en citedby.eu.
Fuente: finding audit 2026-10-26 (inglés).
Sobre esta comprobación
| ID de la comprobación | crawl_refused |
|---|---|
| Sección del informe | Enlaces, canonical y velocidad |
| Gravedad | Advertencia |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | No, la corrección se describe en el texto |
Comprobaciones relacionadas
- Enlaces internos rotos
- El canonical apunta a una URL rota o que redirige
- Bucle de redirecciones
- El canonical apunta a una página noindex
- El canonical apunta a otra página
- HTML muy grande
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método