Vérifications / Accès des robots IA
robots.txt bloque OAI-SearchBot
OAI-SearchBot détermine si la recherche ChatGPT peut afficher votre site.
robots_oai_searchbot · Accès des robots IA · Erreur
Ce qui la déclenche
robots.txt n'autorise pas OAI-SearchBot à lire votre page d'accueil (une règle Disallow dans son propre groupe, ou dans le groupe * quand aucun groupe ne le nomme), et ne lui laisse aucun autre chemin ouvert.
Ce qu'il faut changer
Supprimez la règle Disallow pour OAI-SearchBot dans robots.txt.
Exemple
Lignes de robots.txt qui autorisent OAI-SearchBot :
User-agent: OAI-SearchBot
Allow: /Comment confirmer la correction
- Ouvrez https://example.com/robots.txt : aucun groupe qui nomme OAI-SearchBot (ou le groupe *, si aucun ne le nomme) n'interdit la page d'accueil
- Lancez un nouveau crawl : le tableau des robots IA indique OAI-SearchBot comme autorisé
À propos de OAI-SearchBot
OAI-SearchBot est le robot d'exploration d'OpenAI pour la recherche de ChatGPT. Les sites qui le refusent ne seront pas montrés dans les réponses de recherche de ChatGPT, mais peuvent encore apparaître sous forme de liens de navigation. Il respecte robots.txt avec le jeton OAI-SearchBot, et OpenAI publie 39 plages d'IP pour lui.
La formulation d'OpenAI est que les sites qui refusent « ne seront pas montrés dans les réponses de recherche de ChatGPT ». C'est là le coût : une boutique qui bloque OAI-SearchBot renonce à la partie de ChatGPT qui renvoie vers des sources. OpenAI recommande l'inverse aux sites qui veulent apparaître : autoriser OAI-SearchBot dans robots.txt et autoriser les requêtes provenant de ses plages d'IP publiées.
Rôle : Recherche. Respecte robots.txt : Oui, il suit robots.txt.
OAI-SearchBot : opérateur, chaîne user-agent et liste d'adresses
Fréquence
Sur un échantillon, l'étude a mesuré les sites dont le robots.txt bloque OAI-SearchBot : 0 sites Show HN sur 294 (0 %), et 0 sites Lovable sur 67 (0 %).
Récupéré les 20 et 21 oct. 2026 en CitedBot, robots.txt respecté, sans JavaScript. Étude : Launch crawl 2026-10 (anglais).
À propos de cette vérification
| Identifiant | robots_oai_searchbot |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Erreur |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt bloque Claude-SearchBot
- robots.txt bloque Claude-User
- robots.txt tient ChatGPT-User à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient Claude-SearchBot à l'écart de votre page d'accueil et de la plupart du site
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode