Comprobaciones / Enlaces, canonical y velocidad
Páginas que rechazan a nuestro rastreador o no responden
Algunas páginas del sitio respondieron 429 (demasiadas peticiones), rechazaron al rastreador (401, 403 o una página de verificación) o no respondieron a tiempo en un segundo intento. Los buscadores y los rastreadores de IA se topan con los mismos muros: 429 o tiempos de espera repetidos les hacen ir más despacio o dejar de rastrear el sitio, y las páginas rechazadas no se leen. Las dejamos fuera de las comprobaciones de página, así que este es el único sitio donde aparecen.
crawl_refused · Enlaces, canonical y velocidad · Advertencia
Qué la activa
Algunas páginas rastreadas respondieron 429, 401, 403 o 999, mostraron una página de verificación, o no respondieron, dos veces. Por debajo del 5 % de las páginas es un aviso, desde el 5 % una advertencia.
Qué cambiar
Ajusta la solución a lo que hizo la página. 429: sirve esas páginas desde una caché o un resultado estático y sube el límite de peticiones para rastreadores; mantén Retry-After corto. 401, 403 o una página de verificación: permite a CitedBot en la regla del cortafuegos que lo bloquea; la prueba de bots de este informe muestra cuáles pasan. Sin respuesta: busca la ruta que calcula un resultado en vivo en la primera solicitud y sirve en su lugar un resultado guardado o un formulario. Si Googlebot y OAI-SearchBot verificados reciben un 200 en estas páginas y solo se rechaza a nuestro rastreador, el muro es una regla contra bots desconocidos, y puedes dejarlo.
Cómo confirmar la corrección
- Abre una de las páginas listadas dos veces en una ventana privada y con curl -I: responde 200 cada vez, sin 429 ni espera
- Lanza un nuevo rastreo
Con qué frecuencia aparece
En las auditorías de nuestros propios sitios del 26 de oct. de 2026 (4 sitios): hallazgo juzgado correcto en citedby.eu.
Fuente: finding audit 2026-10-26 (inglés).
Sobre esta comprobación
| ID de la comprobación | crawl_refused |
|---|---|
| Sección del informe | Enlaces, canonical y velocidad |
| Gravedad | Advertencia |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | No, la corrección se describe en el texto |
Comprobaciones relacionadas
- El canonical apunta a una página noindex
- El canonical apunta a otra página
- HTML muy grande
- La alternativa hreflang no enlaza de vuelta
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método