Vérifications / Accès des robots IA
robots.txt tient ClaudeBot à l'écart de votre page d'accueil et de la plupart du site
ClaudeBot collecte des données d'entraînement et ne peut lire que les chemins que robots.txt lui autorise. C'est un choix : l'essentiel de vos pages reste hors de l'entraînement futur des modèles, pas hors de la recherche IA.
robots_partial_claudebot · Accès des robots IA · Remarque
Ce qui la déclenche
robots.txt n'autorise pas ClaudeBot à lire votre page d'accueil, mais lui laisse quelques autres chemins ouverts ; le constat nomme les trois premiers.
Ce qu'il faut changer
Supprimez la règle Disallow: / pour ClaudeBot dans robots.txt, ou ajoutez des règles Allow pour les autres chemins que vous voulez faire lire.
Exemple
Lignes de robots.txt qui autorisent ClaudeBot :
User-agent: ClaudeBot
Allow: /Comment confirmer la correction
- Ouvrez https://example.com/robots.txt : le groupe qui nomme ClaudeBot (ou le groupe *, si aucun ne le nomme) laisse la plus grande partie du site ouverte, pas seulement la page d'accueil
- Lancez un nouveau crawl : le tableau des robots IA ne signale plus ClaudeBot comme bloqué en grande partie
À propos de ClaudeBot
ClaudeBot est le robot d'exploration d'Anthropic pour le contenu pouvant contribuer à l'entraînement de ses modèles. Un Disallow dans robots.txt signale que les futurs contenus d'un site doivent être exclus des jeux de données d'entraînement. Anthropic respecte Crawl-delay et avertit que bloquer ses adresses IP peut l'empêcher de lire robots.txt : utilisez donc robots.txt.
Un robot de recherche distinct : bloquer ClaudeBot ne le touche pas.
L'article d'Anthropic indique que ses robots respectent les signaux « ne pas explorer » de robots.txt et ne tenteront pas de contourner les CAPTCHA. Il prend en charge la directive non standard Crawl-delay, par exemple `User-agent: ClaudeBot` suivi de `Crawl-delay: 1`. Il précise aussi que bloquer par adresse IP peut ne pas donner un refus durable, car cela empêche le robot de lire robots.txt. L'article d'Anthropic indique que robots.txt doit être défini pour chaque sous-domaine que vous voulez exclure.
Rôle : Entraînement. Respecte robots.txt : Oui, il suit robots.txt et Crawl-delay.
ClaudeBot : opérateur, chaîne user-agent et liste d'adresses
Fréquence
Nous n'avons pas mesuré sa fréquence sur un échantillon de sites. Les chiffres apparaissent ici quand une étude la couvre.
À propos de cette vérification
| Identifiant | robots_partial_claudebot |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Remarque |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt bloque GPTBot
- robots.txt tient CCBot à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient Google-Extended à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient GPTBot à l'écart de votre page d'accueil et de la plupart du site
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode