Vérifications / Accès des robots IA

robots.txt tient CCBot à l'écart de votre page d'accueil et de la plupart du site

CCBot collecte des données d'entraînement et ne peut lire que les chemins que robots.txt lui autorise. C'est un choix : l'essentiel de vos pages reste hors de l'entraînement futur des modèles, pas hors de la recherche IA.

robots_partial_ccbot · Accès des robots IA · Remarque

Ce qui la déclenche

robots.txt n'autorise pas CCBot à lire votre page d'accueil, mais lui laisse quelques autres chemins ouverts ; le constat nomme les trois premiers.

Ce qu'il faut changer

Supprimez la règle Disallow: / pour CCBot dans robots.txt, ou ajoutez des règles Allow pour les autres chemins que vous voulez faire lire.

Exemple

Lignes de robots.txt qui autorisent CCBot :

User-agent: CCBot
Allow: /

Comment confirmer la correction

Ouvrez https://example.com/robots.txt : le groupe qui nomme CCBot (ou le groupe *, si aucun ne le nomme) laisse la plus grande partie du site ouverte, pas seulement la page d'accueil
Lancez un nouveau crawl : le tableau des robots IA ne signale plus CCBot comme bloqué en grande partie

À propos de CCBot

CCBot est le robot d'exploration de Common Crawl, une organisation à but non lucratif qui tient un dépôt ouvert de données d'exploration du web que chacun peut consulter et analyser. Common Crawl indique que User-agent: CCBot avec Disallow: / l'empêche d'explorer un site. Elle avertit aussi que d'autres robots se font passer à tort pour CCBot : vérifiez les requêtes.

CCBot constitue une archive d'exploration publique que d'autres peuvent utiliser, tandis que GPTBot collecte du contenu pour les propres besoins d'OpenAI.

Common Crawl indique que CCBot utilise des plages d'adresses IP dédiées avec DNS inverse (pas pour IPv6) : une requête enregistrée peut donc être vérifiée par une recherche inverse qui renvoie un nom d'hôte crawl.commoncrawl.org ; les plages sont aussi publiées en JSON sur https://index.commoncrawl.org/ccbot.json.

Rôle : Archive publique d'exploration du web. Respecte robots.txt : Oui, via une règle robots.txt pour CCBot.

CCBot : opérateur, chaîne user-agent et liste d'adresses

Fréquence

Nous n'avons pas mesuré sa fréquence sur un échantillon de sites. Les chiffres apparaissent ici quand une étude la couvre.

À propos de cette vérification

Identifiant	`robots_partial_ccbot`
Section du rapport	Accès des robots IA
Gravité	Remarque
Comment elle est décidée	Mesurée : lue directement dans la page ou la réponse du serveur.
Ajoutée	Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version
État	Mesurée dans chaque rapport
Le rapport donne le code	Oui, un bloc pour tout le site

Réglages selon la plateforme

Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.

Vérifications liées

Voir si cela concerne votre site

Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.

Vérifier mon site gratuitement

Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.

Comment fonctionne un audit : méthode