Vérifications / Accès des robots IA
Votre pare-feu ou CDN refuse les robots de recherche IA
Notre requête de test avec le user agent d'un robot de recherche IA a été refusée (403, 429, page de vérification ou délai dépassé) alors qu'un navigateur obtenait la page. Les vrais robots peuvent encore passer si votre CDN les vérifie par IP : consultez les journaux de votre CDN.
waf_blocks_bots · Accès des robots IA · Erreur
Ce qui la déclenche
Une requête pour votre page d'accueil qui nomme CitedBot, PerplexityBot, OAI-SearchBot ou Claude-SearchBot dans son user agent reçoit autre chose que 200 (ou aucune réponse en 15 secondes, deux fois) alors qu'une requête de navigateur reçoit 200.
Ce qu'il faut changer
Dans Cloudflare, Akamai, Sucuri ou le WAF de votre hébergeur, autorisez les robots de recherche IA vérifiés (OAI-SearchBot, PerplexityBot, Claude-SearchBot) ou désactivez « Block AI bots ».
Comment confirmer la correction
- Dans les journaux de votre CDN ou pare-feu, repérez les requêtes avec le user agent du robot et confirmez qu'elles obtiennent 200
- Lancez une nouvelle exploration : la colonne du test en direct affiche 200
Fréquence
Sur un échantillon, l'étude a mesuré les pare-feu qui refusent une requête réelle d'un robot de recherche sur la page d'accueil : 3 sites Show HN sur 293 (1 %), et 0 sites Lovable sur 66 (0 %).
Récupéré les 20 et 21 oct. 2026 en CitedBot, robots.txt respecté, sans JavaScript. Étude : Launch crawl 2026-10 (anglais).
À propos de cette vérification
| Identifiant | waf_blocks_bots |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Erreur |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Non, la correction est décrite en texte |
Vérifications liées
- robots.txt bloque Perplexity-User
- robots.txt bloque PerplexityBot
- Pas de llms-full.txt (facultatif)
- llms.txt renvoie vers des pages inutilisables pour les robots
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode