Vérifications / Accès des robots IA
robots.txt bloque Claude-SearchBot
Claude-SearchBot est le robot de recherche de l'un des grands assistants IA.
robots_claude_searchbot · Accès des robots IA · Erreur
Ce qu'il faut changer
Supprimez la règle Disallow pour Claude-SearchBot dans robots.txt.
Exemple
Lignes de robots.txt qui autorisent Claude-SearchBot :
User-agent: Claude-SearchBot
Allow: /Fréquence
Sur un échantillon, l'étude a mesuré les sites dont le robots.txt bloque Claude-SearchBot : 0 sites Show HN sur 294 (0 %), et 0 sites Lovable sur 67 (0 %).
Récupéré les 20 et 21 oct. 2026 en CitedBot, robots.txt respecté, sans JavaScript. Étude : Launch crawl 2026-10 (anglais).
À propos de cette vérification
| Identifiant | robots_claude_searchbot |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Erreur |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt bloque ChatGPT-User
- robots.txt bloque Claude-User
- robots.txt bloque OAI-SearchBot
- robots.txt bloque Perplexity-User
- robots.txt bloque PerplexityBot
- robots.txt bloque CCBot
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode