Vérifications / Accès des robots IA

robots.txt tient ClaudeBot à l'écart de votre page d'accueil et de la plupart du site

ClaudeBot collecte des données d'entraînement et ne peut lire que les chemins que robots.txt lui autorise. C'est un choix : l'essentiel de vos pages reste hors de l'entraînement futur des modèles, pas hors de la recherche IA.

robots_partial_claudebot · Accès des robots IA · Remarque

Ce qui la déclenche

robots.txt n'autorise pas ClaudeBot à lire votre page d'accueil, mais lui laisse quelques autres chemins ouverts ; le constat nomme les trois premiers.

Ce qu'il faut changer

Supprimez la règle Disallow: / pour ClaudeBot dans robots.txt, ou ajoutez des règles Allow pour les autres chemins que vous voulez faire lire.

Exemple

Lignes de robots.txt qui autorisent ClaudeBot :

User-agent: ClaudeBot
Allow: /

Fréquence

Nous n'avons pas mesuré sa fréquence sur un échantillon de sites. Les chiffres apparaissent ici quand une étude la couvre.

À propos de cette vérification

Identifiant	`robots_partial_claudebot`
Section du rapport	Accès des robots IA
Gravité	Remarque
Comment elle est décidée	Mesurée : lue directement dans la page ou la réponse du serveur.
Ajoutée	Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version
État	Mesurée dans chaque rapport
Le rapport donne le code	Oui, un bloc pour tout le site

Réglages selon la plateforme

Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.

Vérifications liées

Voir si cela concerne votre site

Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.

Vérifier mon site gratuitement

Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.

Comment fonctionne un audit : méthode