Vérifications / Accès des robots IA
robots.txt bloque Google-Extended
Google-Extended détermine si Google utilise votre contenu pour l'entraînement et l'ancrage de Gemini. Le bloquer est un choix ; cela n'affecte pas Google Search.
robots_google_extended · Accès des robots IA · Remarque
Ce qui la déclenche
robots.txt n'autorise pas Google-Extended à lire votre page d'accueil (une règle Disallow dans son propre groupe, ou dans le groupe * quand aucun groupe ne le nomme), et ne lui laisse aucun autre chemin ouvert.
Ce qu'il faut changer
Autorisez Google-Extended si vous voulez que Gemini utilise votre contenu.
Exemple
Lignes de robots.txt qui autorisent Google-Extended :
User-agent: Google-Extended
Allow: /Comment confirmer la correction
- Ouvrez https://example.com/robots.txt : aucun groupe qui nomme Google-Extended (ou le groupe *, si aucun ne le nomme) n'interdit la page d'accueil
- Lancez un nouveau crawl : le tableau des robots IA indique Google-Extended comme autorisé
À propos de Google-Extended
Google-Extended est un jeton de produit robots.txt qui permet aux éditeurs de gérer si le contenu exploré par Google peut servir à entraîner les futurs modèles Gemini. Il n'a pas de user-agent HTTP propre, donc il n'apparaît jamais dans le journal de votre serveur. Google indique qu'il n'affecte ni l'inclusion dans Search ni le classement.
Ajouter `Disallow: /` sous Google-Extended indique à Google qu'il ne peut pas utiliser le contenu pour entraîner les futurs modèles Gemini qui sous-tendent Gemini Apps et l'API Vertex AI pour Gemini. Google précise aussi que cela n'a pas d'incidence sur l'inclusion dans Google Search et n'est pas un signal de classement. Notre audit lit ce jeton dans robots.txt comme l'un de ses contrôles ; c'est le seul signal qui existe. La page de Google indique aussi que ce jeton gère le grounding (l'ancrage), c'est-à-dire le contenu de l'index Google Search fourni au modèle au moment de la requête.
Rôle : Jeton de contrôle (aucune requête propre). Respecte robots.txt : Lu dans robots.txt seulement ; il n'existe pas de user-agent distinct.
Google-Extended : opérateur, chaîne user-agent et liste d'adresses
Fréquence
Sur un échantillon, l'étude a mesuré les sites dont le robots.txt bloque Google-Extended : 9 sites Show HN sur 294 (3 %), et 0 sites Lovable sur 67 (0 %).
Récupéré les 20 et 21 oct. 2026 en CitedBot, robots.txt respecté, sans JavaScript. Étude : Launch crawl 2026-10 (anglais).
À propos de cette vérification
| Identifiant | robots_google_extended |
|---|---|
| Section du rapport | Accès des robots IA |
| Gravité | Remarque |
| Comment elle est décidée | Mesurée : lue directement dans la page ou la réponse du serveur. |
| Ajoutée | Avant le 19 oct. 2026 (versions 1 et 2), ou une vérification de site sans date de version |
| État | Mesurée dans chaque rapport |
| Le rapport donne le code | Oui, un bloc pour tout le site |
Réglages selon la plateforme
Pour robots.txt, l'endroit du réglage dépend de la plateforme. Nos guides en couvrent 13 : réglages des robots IA par plateforme.
Vérifications liées
- robots.txt bloque CCBot
- robots.txt bloque ClaudeBot
- robots.txt bloque GPTBot
- robots.txt tient CCBot à l'écart de votre page d'accueil et de la plupart du site
Voir si cela concerne votre site
Collez votre adresse : nous explorons jusqu'à 10 pages et montrons chaque problème trouvé, avec sa correction. Sans compte, sans carte.
Chaque offre explore jusqu'à sa limite de pages et liste ces vérifications avec la correction : tarifs.
Comment fonctionne un audit : méthode