Robots d'exploration IA / Robots d'exploration IA
Googlebot : ce qu'il fait et ce que change son blocage
Ce qu'est Googlebot
Googlebot est le robot d’où part chaque contrôle de Search. La page de Google liste plusieurs robots, et le seul jeton Googlebot régit Search, Discover et les produits qui s’appuient sur la même exploration, comme Images, le mode Video et News.
| Fait | Googlebot |
|---|---|
| Opérateur | |
| Rôle | Recherche (aussi Images, Video, News, Discover) |
| Jeton robots.txt | Googlebot |
| Respecte robots.txt | Oui, toujours lors d’une exploration automatique |
| Adresses IP | 317 plages (developers.google.com/static/search/apis/ipranges/googlebot.json, fichier daté du 2026-10-20) |
| Page de l'opérateur lue le | 21 octobre 2026 |
Ce que dit l'opérateur
Les mots de l'opérateur (original en anglais) : “Google's common crawlers are used to find information for building Google's search indexes, perform other product specific crawls, and for analysis. They always obey robots.txt rules when crawling automatically.”
Source : Google Search Central: Google's common crawlers (last updated 2026-10-15), lu le 21 octobre 2026.
Que se passe-t-il si vous bloquez Googlebot
Un Disallow pour Googlebot n’est pas un refus d’IA ciblé ; il affecte Google Search lui-même, y compris Discover et les fonctions qui s’appuient dessus, selon la liste des produits concernés de Google. Le contrôle plus ciblé pour l’entraînement de Gemini est le jeton distinct Google-Extended.
Les lignes robots.txt
Pour autoriser Googlebot :
User-agent: Googlebot
Allow: /Pour bloquer Googlebot :
User-agent: Googlebot
Disallow: /Collez un bloc dans le fichier robots.txt à la racine de votre hôte, par exemple https://example.com/robots.txt. Un groupe pour un jeton ne couvre pas les autres robots du même opérateur.
La chaîne user-agent indiquée par l'opérateur :
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Comment distinguer une vraie requête d'une fausse
Google publie les plages que ses robots d’exploration courants utilisent. Le fichier de Googlebot contenait 317 préfixes le 21 octobre 2026, avec une date de création au 2026-10-20 14:46 UTC. Google documente aussi un masque DNS inverse pour confirmer un nom d’hôte : une requête se vérifie donc de deux façons, l’adresse contre le fichier et la recherche inverse contre le masque. La page elle-même a été mise à jour pour la dernière fois le 2026-10-15.
À comparer avec Google-Extended
Google-Extended : Un jeton de contrôle pour l’entraînement de Gemini ; il ne récupère jamais de page.
Votre propre site
Le contrôle gratuit dans l'encadré ci-dessus teste Googlebot avec une requête réelle et lit robots.txt pour lui. La liste complète des robots est sur le répertoire des robots d'exploration IA.
Questions fréquentes
Googlebot respecte-t-il robots.txt ?
Oui, toujours lors d’une exploration automatique. Donnez à Googlebot son propre groupe User-agent dans robots.txt : les autres robots du même opérateur ont chacun leur réglage.
Comment savoir si Googlebot est vraiment bloqué ?
robots.txt n'est qu'une couche : une règle de CDN ou de pare-feu peut aussi refuser un robot, et un robot peut ignorer le fichier. Cherchez le user agent dans votre journal de serveur et testez l'adresse depuis l'extérieur de votre réseau.
Sources
- Google Search Central: Google's common crawlers (last updated 2026-10-15)
- developers.google.com/static/search/apis/ipranges/googlebot.json
Voyez ce que les IA répondent sur votre boutique
L'audit explore votre site jusqu'à la limite de votre offre, montre quels robots IA il laisse entrer et donne le correctif exact. Dès 9 €, garantie 14 jours.
Auditer mon siteAudit dès 9 €, payé une fois. Garantie 14 jours.