Vérifications / Accès des robots IA
robots.txt bloque GPTBot
Bloque GPTBot, qui collecte des données d'entraînement. Vos pages restent hors de l'entraînement des futurs modèles, mais pas hors de ChatGPT ni des autres moteurs de recherche IA.
robots_gptbot · Accès des robots IA · Remarque
Ce qui la déclenche
robots.txt n'autorise pas GPTBot à lire votre page d'accueil (une règle Disallow dans son propre groupe, ou dans le groupe * quand aucun groupe ne le nomme), et ne lui laisse aucun autre chemin ouvert.
Ce qu'il faut changer
Seulement si vous voulez vos pages dans l'entraînement des futurs modèles : supprimez la règle Disallow pour GPTBot. La recherche ChatGPT dépend d'OAI-SearchBot.
Exemple
Lignes de robots.txt qui autorisent GPTBot :
User-agent: GPTBot
Allow: /Comment confirmer la correction
- Ouvrez https://example.com/robots.txt : aucun groupe qui nomme GPTBot (ou le groupe *, si aucun ne le nomme) n'interdit la page d'accueil
- Lancez un nouveau crawl : le tableau des robots IA indique GPTBot comme autorisé
À propos de GPTBot
GPTBot est le robot d'exploration d'OpenAI pour l'entraînement. L'interdire dans robots.txt indique à OpenAI que le contenu du site ne doit pas servir à entraîner ses modèles de fondation d'IA générative. Il ne contrôle pas la recherche de ChatGPT, qui utilise OAI-SearchBot. OpenAI publie 18 plages d'IP pour GPTBot.
OpenAI présente un Disallow pour GPTBot comme un signal sur l'entraînement : le contenu ne doit pas servir à entraîner des modèles de fondation d'IA générative. La même page donne l'exemple d'un site qui autorise OAI-SearchBot pour apparaître dans les résultats de recherche tout en interdisant GPTBot : un blocage ici ne vous retire donc pas, à lui seul, des réponses de recherche de ChatGPT. Bloquer ou non est un choix d'entreprise ; les deux sont légitimes.
Rôle : Entraînement. Respecte robots.txt : Oui, il suit robots.txt.
GPTBot : opérateur, chaîne user-agent et liste d'adresses
Fréquence
Sur un échantillon, l'étude a mesuré les sites dont le robots.txt bloque GPTBot : 12 sites Show HN sur 294 (4 %), et 0 sites Lovable sur 67 (0 %).
Récupéré les 20 et 21 oct. 2026 en CitedBot, robots.txt respecté, sans JavaScript. Étude : Launch crawl 2026-10 (anglais).
À propos de cette vérification
| Identifiant | robots_gptbot |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Remarque |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt bloque ClaudeBot
- robots.txt bloque Google-Extended
- robots.txt tient CCBot à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient ClaudeBot à l'écart de votre page d'accueil et de la plupart du site
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode