Vérifications / Accès des robots IA
robots.txt tient Claude-SearchBot à l'écart de votre page d'accueil et de la plupart du site
Claude-SearchBot ne peut lire que les chemins que robots.txt lui autorise. Votre page d'accueil et le reste du site lui restent fermés, donc il ne peut pas les citer.
robots_partial_claude_searchbot · Accès des robots IA · Erreur
Ce qui la déclenche
robots.txt n'autorise pas Claude-SearchBot à lire votre page d'accueil, mais lui laisse quelques autres chemins ouverts ; le constat nomme les trois premiers.
Ce qu'il faut changer
Supprimez la règle Disallow: / pour Claude-SearchBot dans robots.txt, ou ajoutez des règles Allow pour les autres chemins que vous voulez faire lire.
Exemple
Lignes de robots.txt qui autorisent Claude-SearchBot :
User-agent: Claude-SearchBot
Allow: /Comment confirmer la correction
- Ouvrez https://example.com/robots.txt : le groupe qui nomme Claude-SearchBot (ou le groupe *, si aucun ne le nomme) laisse la plus grande partie du site ouverte, pas seulement la page d'accueil
- Lancez un nouveau crawl : le tableau des robots IA ne signale plus Claude-SearchBot comme bloqué en grande partie
À propos de Claude-SearchBot
Claude-SearchBot est le robot d'Anthropic qui parcourt le web pour améliorer la qualité des résultats de recherche. Anthropic indique que le désactiver empêche l'indexation de votre contenu pour l'optimisation de la recherche, ce qui peut réduire votre visibilité et la précision dans les résultats de recherche des utilisateurs. Son jeton robots.txt est Claude-SearchBot.
ClaudeBot est le robot d'entraînement d'Anthropic : Anthropic indique qu'un Disallow pour lui signifie que les contenus futurs doivent être exclus des jeux de données d'entraînement de ses modèles d'IA. Claude-SearchBot a son propre jeton.
L'article d'aide est daté du 7 avril 2026. Il ne donne aucune chaîne user-agent : une ligne du journal du serveur qui nomme Claude-SearchBot est donc une affirmation que l'article seul ne permet pas de confirmer. Anthropic indique que le trafic provenant d'une adresse de sa liste liée est celui d'Anthropic, et demande aux propriétaires de sites qui pensent qu'un robot se comporte mal d'écrire depuis une adresse e-mail du domaine concerné.
Rôle : Recherche. Respecte robots.txt : Oui, Anthropic indique que ses robots respectent robots.txt.
Claude-SearchBot : opérateur, chaîne user-agent et liste d'adresses
Fréquence
Nous n'avons pas mesuré sa fréquence sur un échantillon de sites. Les chiffres apparaissent ici quand une étude la couvre.
À propos de cette vérification
| Identifiant | robots_partial_claude_searchbot |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Erreur |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt bloque OAI-SearchBot
- robots.txt tient ChatGPT-User à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient Claude-User à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient OAI-SearchBot à l'écart de votre page d'accueil et de la plupart du site
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode