Vérifications / Liens, canonical et vitesse
Des pages refusent notre robot ou ne répondent pas
Certaines pages du site ont répondu 429 (trop de requêtes), ont refusé le robot (401, 403 ou une page de vérification) ou n'ont pas répondu à temps au second essai. Les moteurs de recherche et les robots d'IA se heurtent aux mêmes murs : des 429 ou des délais répétés les poussent à ralentir ou à cesser d'explorer le site, et les pages refusées ne sont pas lues. Nous les avons écartées des contrôles de page : c'est le seul endroit où elles apparaissent.
crawl_refused · Liens, canonical et vitesse · Avertissement
Ce qu'il faut changer
Adaptez le correctif à ce que la page a fait. 429 : servez ces pages depuis un cache ou un résultat statique et relevez la limite de débit pour les robots ; gardez un Retry-After court. 401, 403 ou page de vérification : autorisez CitedBot dans la règle du pare-feu qui le bloque ; le test des robots de ce rapport montre lesquels passent. Pas de réponse : trouvez la route qui calcule un résultat en direct à la première requête et servez à la place un résultat enregistré ou un formulaire. Si Googlebot et OAI-SearchBot vérifiés obtiennent un 200 sur ces pages et que seul notre robot est refusé, le mur est une règle contre les robots inconnus, et vous pouvez le laisser.
Fréquence
Dans les audits de nos propres sites au 26 oct. 2026 (4 sites) : constat jugé juste sur citedby.eu.
Source : finding audit 2026-10-26 (anglais).
À propos de cette vérification
| Identifiant | crawl_refused |
|---|---|
| Section du rapport | Liens, canonical et vitesse |
| Gravité | Avertissement |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Non, la correction est décrite en texte |
Vérifications liées
- Liens internes cassés
- La canonical pointe vers une URL cassée ou redirigée
- Boucle de redirection
- La canonical pointe vers une page noindex
- La canonical pointe vers une autre page
- HTML très volumineux
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode