Vérifications / Accès des robots IA
robots.txt tient OAI-SearchBot à l'écart de votre page d'accueil et de la plupart du site
OAI-SearchBot ne peut lire que les chemins que robots.txt lui autorise. Votre page d'accueil et le reste du site lui restent fermés, donc il ne peut pas les citer.
robots_partial_oai_searchbot · Accès des robots IA · Erreur
Ce qui la déclenche
robots.txt n'autorise pas OAI-SearchBot à lire votre page d'accueil, mais lui laisse quelques autres chemins ouverts ; le constat nomme les trois premiers.
Ce qu'il faut changer
Supprimez la règle Disallow: / pour OAI-SearchBot dans robots.txt, ou ajoutez des règles Allow pour les autres chemins que vous voulez faire lire.
Exemple
Lignes de robots.txt qui autorisent OAI-SearchBot :
User-agent: OAI-SearchBot
Allow: /Comment confirmer la correction
- Ouvrez https://example.com/robots.txt : le groupe qui nomme OAI-SearchBot (ou le groupe *, si aucun ne le nomme) laisse la plus grande partie du site ouverte, pas seulement la page d'accueil
- Lancez un nouveau crawl : le tableau des robots IA ne signale plus OAI-SearchBot comme bloqué en grande partie
À propos de OAI-SearchBot
OAI-SearchBot est le robot d'exploration d'OpenAI pour la recherche de ChatGPT. Les sites qui le refusent ne seront pas montrés dans les réponses de recherche de ChatGPT, mais peuvent encore apparaître sous forme de liens de navigation. Il respecte robots.txt avec le jeton OAI-SearchBot, et OpenAI publie 39 plages d'IP pour lui.
GPTBot sert à l'entraînement ; le bloquer ne vous retire pas de la recherche de ChatGPT, car les réglages sont indépendants.
OpenAI publie les adresses qu'utilise OAI-SearchBot sur openai.com/searchbot.json. Le 21 octobre 2026, ce fichier contenait 39 préfixes et portait la date de création 2026-01-02. Comparez l'adresse du journal de votre serveur à ces préfixes avant de faire confiance à une requête qui ne fait que revendiquer le nom dans son user-agent. OpenAI indique aussi que lorsqu'il récupère robots.txt, il peut ajouter un marqueur `robots.txt` à la chaîne user-agent : ces requêtes se distinguent donc facilement dans des journaux sans chemins.
Rôle : Recherche. Respecte robots.txt : Oui, il suit robots.txt.
OAI-SearchBot : opérateur, chaîne user-agent et liste d'adresses
Fréquence
Nous n'avons pas mesuré sa fréquence sur un échantillon de sites. Les chiffres apparaissent ici quand une étude la couvre.
À propos de cette vérification
| Identifiant | robots_partial_oai_searchbot |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Erreur |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt tient Claude-SearchBot à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient Claude-User à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient Perplexity-User à l'écart de votre page d'accueil et de la plupart du site
- robots.txt tient PerplexityBot à l'écart de votre page d'accueil et de la plupart du site
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode