Robots d'exploration IA : qui ils sont, ce qu'ils font, comment les autoriser ou les bloquer
Une page par robot, avec l'opérateur, le jeton robots.txt, la phrase de l'opérateur lui-même, ce que coûte un blocage et comment vérifier une requête, chaque point lu sur la page de l'opérateur à la date indiquée.
Un robot d'exploration IA est un bot qui récupère des pages pour un assistant comme ChatGPT, Claude, Perplexity ou Gemini, pour un index de recherche ou pour l'entraînement de modèles. Chaque page indique l'opérateur, le jeton robots.txt, ce que change un blocage et comment vérifier une requête, pour que vous décidiez, robot par robot, de l'autoriser ou non.
| Robot | Opérateur | Rôle | Respecte robots.txt |
|---|---|---|---|
| Amazonbot | Amazon | Amélioration des produits, peut entraîner des modèles d’IA d’Amazon | Oui, les changements prennent environ 24 heures |
| Amzn-SearchBot | Amazon | Recherche | Oui, les changements peuvent prendre environ 24 heures |
| Amzn-User | Amazon | Récupération déclenchée par l’utilisateur | Partiel, peut ne pas suivre toutes les directives robots.txt car les actions peuvent être lancées par l’utilisateur |
| Applebot | Apple | Recherche (les données explorées peuvent aussi aider à entraîner des modèles d’Apple) | Oui, pour les explorations de recherche générales destinées à Applebot |
| Applebot-Extended | Apple | Jeton de contrôle (aucune requête propre) | Lu dans robots.txt seulement |
| Baiduspider | Baidu | Recherche | Oui pour Baiduspider ; Baiduspider-cpro et Baiduspider-ads ne suivent pas les enregistrements robots.txt |
| Bingbot | Microsoft | Robot d’exploration de recherche | Oui |
| CCBot | Common Crawl | Archive publique d’exploration du web | Oui, via une règle robots.txt pour CCBot |
| ChatGPT-User | OpenAI | Récupération déclenchée par l’utilisateur | Les règles robots.txt peuvent ne pas s’appliquer |
| Claude-SearchBot | Anthropic | Recherche | Oui, Anthropic indique que ses robots respectent robots.txt |
| Claude-User | Anthropic | Récupération déclenchée par l’utilisateur | Oui, Anthropic indique que ses robots respectent robots.txt |
| ClaudeBot | Anthropic | Entraînement | Oui, il suit robots.txt et Crawl-delay |
| Diffbot | Diffbot | Recherche (exploration générale du web) | Oui, par défaut (directives disallow et crawl-delay) |
| DuckAssistBot | DuckDuckGo | Récupération en temps réel pour les réponses assistées par IA | Oui, un changement prend effet après 72 heures |
| DuckDuckBot | DuckDuckGo | Recherche | Oui, respecte WWW::RobotRules (aucune indication de délai publiée) |
| ExaSearchBot | Exa | Index de recherche et de récupération | Oui, l’opérateur indique qu’il vérifie robots.txt avant de récupérer une page |
| ExaUser | Exa | Récupération déclenchée par l’utilisateur | Partiel, l’opérateur indique que les règles robots.txt peuvent ne pas s’appliquer aux récupérations lancées par l’utilisateur |
| Google-Agent | Récupération déclenchée par l’utilisateur (agents agissant pour un utilisateur) | Partiel. Google indique que les agents de récupération déclenchée par l’utilisateur ignorent généralement les règles robots.txt, car un utilisateur a demandé la récupération. | |
| Google-CloudVertexBot | Exploration demandée par les propriétaires de sites pour Vertex AI Agents | Oui. Google indique que les robots d’exploration courants respectent toujours les règles robots.txt lors d’une exploration automatique. | |
| Google-Extended | Jeton de contrôle (aucune requête propre) | Lu dans robots.txt seulement ; il n’existe pas de user agent distinct | |
| Google-GeminiNotebook | Récupération déclenchée par l’utilisateur | Partiel. Google indique que les agents de récupération déclenchée par l’utilisateur ignorent généralement les règles robots.txt, car un utilisateur a demandé la récupération. | |
| Google-Pinpoint | Récupération déclenchée par l’utilisateur | Partiel. Google indique que les agents de récupération déclenchée par l’utilisateur ignorent généralement les règles robots.txt, car un utilisateur a demandé la récupération. | |
| Googlebot | Recherche (aussi Images, Video, News, Discover) | Oui, toujours lors d’une exploration automatique | |
| GoogleOther | Exploration générique pour diverses équipes de produits Google | Oui. Google indique que les robots d’exploration courants respectent toujours les règles robots.txt lors d’une exploration automatique. | |
| GPTBot | OpenAI | Entraînement | Oui, il suit robots.txt |
| ICC-Crawler | NICT (Universal Communication Research Institute) | Collecte de données pour la recherche (inclut la recherche et le développement en IA) | Oui, et avec un Crawl-Delay il utilise la plus grande valeur entre cet intervalle et son propre minimum |
| ImagesiftBot | Hive (ImageSift) | Index d’images pour la recherche d’images similaires | Oui, et il prend en charge Crawl-delay |
| Kagibot | Kagi | Recherche | Oui, les directives robots.txt standard qui visent Kagibot sont respectées |
| LinkupBot | Linkup | Index de recherche pour la recherche web par IA | Oui, l’opérateur indique qu’il respecte les règles robots.txt applicables |
| Meta-ExternalAgent | Meta | Entraînement de modèles d’IA et indexation de contenu | Oui |
| Meta-ExternalFetcher | Meta | Récupération déclenchée par l’utilisateur | Partiel, peut contourner robots.txt car les récupérations sont demandées par un utilisateur |
| Meta-WebIndexer | Meta | Recherche | Oui, les changements peuvent prendre jusqu’à 24 heures |
| MistralAI-User | Mistral | Récupération déclenchée par l’utilisateur | Refus possible via robots.txt |
| MojeekBot | Mojeek | Recherche | Oui, respecte le Robots Exclusion Standard ; crawl-delay n’est pas pris en charge |
| OAI-SearchBot | OpenAI | Recherche | Oui, il suit robots.txt |
| Perplexity-User | Perplexity | Récupération déclenchée par l’utilisateur | Ignore généralement les règles robots.txt, car un utilisateur a demandé la récupération |
| PerplexityBot | Perplexity | Recherche | Oui, il suit robots.txt |
| Storebot-Google | Recherche (surfaces de Google Shopping) | Oui. Google indique que les robots d’exploration courants respectent toujours les règles robots.txt lors d’une exploration automatique. | |
| YandexBot | Yandex | Recherche (principal robot d’indexation) | Oui, tient compte des règles générales de robots.txt (User-agent: *) |
| YouBot | You.com | Recherche | Oui, robots.txt est mis en cache pendant 30 minutes, donc les changements peuvent prendre jusqu’à 30 minutes |
robots.txt à copier : refuser l'entraînement des modèles, rester dans la recherche IA
Opérateurs qui disent que leur robot peut servir à entraîner des modèles : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot. Le premier bloc les désactive. Le second garde actifs les robots de recherche et de réponse : OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, Meta-WebIndexer. C'est un choix pour votre activité, et un Disallow ne couvre que les robots qui le respectent.
Refuser l'entraînement
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /Rester dans la recherche IA
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Meta-WebIndexer
Allow: /- Amazonbot : ce qu'il fait et ce que change son blocageAmazonbot (Amazon) : plusieurs rôles. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Amzn-SearchBot : ce qu'il fait et ce que change son blocageAmzn-SearchBot (Amazon) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Amzn-User : ce qu'il fait et ce que change son blocageAmzn-User (Amazon) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Applebot : ce qu'il fait et ce que change son blocageApplebot (Apple) : plusieurs rôles. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Applebot-Extended : ce qu'il fait et ce que change son blocageApplebot-Extended (Apple) : jeton de contrôle. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Baiduspider : ce qu'il fait et ce que change son blocageBaiduspider (Baidu) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Bingbot : ce qu'il fait et ce que change son blocageBingbot (Microsoft) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- CCBot : ce qu'il fait et ce que change son blocageCCBot (Common Crawl) : plusieurs rôles. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- ChatGPT-User : ce qu'il fait et ce que change son blocageChatGPT-User (OpenAI) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Claude-SearchBot : ce qu'il fait et ce que change son blocageClaude-SearchBot (Anthropic) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Claude-User : ce qu'il fait et ce que change son blocageClaude-User (Anthropic) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- ClaudeBot : ce qu'il fait et ce que change son blocageClaudeBot (Anthropic) : entraînement. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Diffbot : ce qu'il fait et ce que change son blocageDiffbot (Diffbot) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- DuckAssistBot : ce qu'il fait et ce que change son blocageDuckAssistBot (DuckDuckGo) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- DuckDuckBot : ce qu'il fait et ce que change son blocageDuckDuckBot (DuckDuckGo) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- ExaSearchBot : ce qu'il fait et ce que change son blocageExaSearchBot (Exa) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- ExaUser : ce qu'il fait et ce que change son blocageExaUser (Exa) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Google-Agent : ce qu'il fait et ce que change son blocageGoogle-Agent (Google) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Google-CloudVertexBot : rôle et effet d'un blocageGoogle-CloudVertexBot (Google) : plusieurs rôles. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Google-Extended : ce qu'il fait et ce que change son blocageGoogle-Extended (Google) : jeton de contrôle. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Google-GeminiNotebook : rôle et effet d'un blocageGoogle-GeminiNotebook (Google) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Google-Pinpoint : ce qu'il fait et ce que change son blocageGoogle-Pinpoint (Google) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Googlebot : ce qu'il fait et ce que change son blocageGooglebot (Google) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- GoogleOther : ce qu'il fait et ce que change son blocageGoogleOther (Google) : plusieurs rôles. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- GPTBot : ce qu'il fait et ce que change son blocageGPTBot (OpenAI) : entraînement. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- ICC-Crawler : ce qu'il fait et ce que change son blocageICC-Crawler (NICT (Universal Communication Research Institute)) : entraînement. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- ImagesiftBot : ce qu'il fait et ce que change son blocageImagesiftBot (Hive (ImageSift)) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Kagibot : ce qu'il fait et ce que change son blocageKagibot (Kagi) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- LinkupBot : ce qu'il fait et ce que change son blocageLinkupBot (Linkup) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Meta-ExternalAgent : ce qu'il fait et ce que change son blocageMeta-ExternalAgent (Meta) : plusieurs rôles. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Meta-ExternalFetcher : ce qu'il fait et ce que change son blocageMeta-ExternalFetcher (Meta) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- Meta-WebIndexer : ce qu'il fait et ce que change son blocageMeta-WebIndexer (Meta) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- MistralAI-User : ce qu'il fait et ce que change son blocageMistralAI-User (Mistral) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- MojeekBot : ce qu'il fait et ce que change son blocageMojeekBot (Mojeek) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- OAI-SearchBot : ce qu'il fait et ce que change son blocageOAI-SearchBot (OpenAI) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Perplexity-User : ce qu'il fait et ce que change son blocagePerplexity-User (Perplexity) : récupération déclenchée par l'utilisateur. Jeton robots.txt, effet d'un Disallow et vérification d'une requête.
- PerplexityBot : ce qu'il fait et ce que change son blocagePerplexityBot (Perplexity) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- Storebot-Google : ce qu'il fait et ce que change son blocageStorebot-Google (Google) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- YandexBot : ce qu'il fait et ce que change son blocageYandexBot (Yandex) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.
- YouBot : ce qu'il fait et ce que change son blocageYouBot (You.com) : recherche. Jeton robots.txt, effet d'un Disallow et vérification d'une requête, lus sur la page de l'opérateur.