AI-crawlers: wie ze zijn, wat ze doen en hoe je ze toestaat of blokkeert
Eén pagina per crawler, met de aanbieder, het robots.txt-token, de eigen zin van de aanbieder, wat blokkeren kost en hoe je een verzoek controleert, elk gelezen op de pagina van de aanbieder op de getoonde datum.
Een AI-crawler is een bot die pagina's ophaalt voor een assistent zoals ChatGPT, Claude, Perplexity of Gemini, voor een zoekindex of voor het trainen van modellen. Elke pagina noemt de aanbieder, het robots.txt-token, wat blokkeren verandert en hoe je een verzoek controleert, zodat je per bot kunt beslissen.
| Crawler | Aanbieder | Taak | Volgt robots.txt |
|---|---|---|---|
| Amazonbot | Amazon | Productverbetering, kan Amazon-AI-modellen trainen | Ja, wijzigingen duren ongeveer 24 uur |
| Amzn-SearchBot | Amazon | Zoeken | Ja, wijzigingen kunnen ongeveer 24 uur duren |
| Amzn-User | Amazon | Door de gebruiker gestart ophalen | Gedeeltelijk, volgt mogelijk niet alle robots.txt-regels omdat acties door de gebruiker kunnen worden gestart |
| Applebot | Apple | Zoeken (gecrawlde data kan ook helpen bij het trainen van Apple-modellen) | Ja, voor algemene zoekcrawls die op Applebot gericht zijn |
| Applebot-Extended | Apple | Controletoken (doet zelf geen verzoeken) | Wordt alleen uit robots.txt gelezen |
| Baiduspider | Baidu | Zoeken | Ja voor Baiduspider; Baiduspider-cpro en Baiduspider-ads volgen robots.txt-records niet |
| Bingbot | Microsoft | Zoekcrawler | Ja |
| CCBot | Common Crawl | Open webcrawlarchief | Ja, via een robots.txt-regel voor CCBot |
| ChatGPT-User | OpenAI | Door de gebruiker gestart ophalen | Robots.txt-regels gelden mogelijk niet |
| Claude-SearchBot | Anthropic | Zoeken | Ja, Anthropic zegt dat zijn robots robots.txt respecteren |
| Claude-User | Anthropic | Door de gebruiker gestart ophalen | Ja, Anthropic zegt dat zijn robots robots.txt respecteren |
| ClaudeBot | Anthropic | Training | Ja, volgt robots.txt en Crawl-delay |
| Diffbot | Diffbot | Zoeken (algemene webcrawl) | Ja, standaard (disallow- en crawl-delay-regels) |
| DuckAssistBot | DuckDuckGo | Realtime ophalen voor AI-ondersteunde antwoorden | Ja, een wijziging werkt na 72 uur |
| DuckDuckBot | DuckDuckGo | Zoeken | Ja, respecteert WWW::RobotRules (geen opmerking over timing gepubliceerd) |
| ExaSearchBot | Exa | Zoek- en ophaalindex | Ja, de aanbieder zegt dat hij robots.txt controleert voordat hij iets ophaalt |
| ExaUser | Exa | Door de gebruiker gestart ophalen | Gedeeltelijk, de aanbieder zegt dat robots.txt-regels mogelijk niet gelden voor door de gebruiker gestarte verzoeken |
| Google-Agent | Door de gebruiker gestart ophalen (agents die namens een gebruiker handelen) | Gedeeltelijk. Google zegt dat door de gebruiker gestarte fetchers robots.txt-regels meestal negeren, omdat een gebruiker het ophalen heeft gevraagd. | |
| Google-CloudVertexBot | Crawl aangevraagd door site-eigenaren voor Vertex AI Agents | Ja. Google zegt dat algemene crawlers bij automatisch crawlen altijd robots.txt-regels volgen. | |
| Google-Extended | Controletoken (doet zelf geen verzoeken) | Wordt alleen uit robots.txt gelezen; er is geen aparte user agent | |
| Google-GeminiNotebook | Door de gebruiker gestart ophalen | Gedeeltelijk. Google zegt dat door de gebruiker gestarte fetchers robots.txt-regels meestal negeren, omdat een gebruiker het ophalen heeft gevraagd. | |
| Google-Pinpoint | Door de gebruiker gestart ophalen | Gedeeltelijk. Google zegt dat door de gebruiker gestarte fetchers robots.txt-regels meestal negeren, omdat een gebruiker het ophalen heeft gevraagd. | |
| Googlebot | Zoeken (ook Images, Video, News, Discover) | Ja, altijd bij automatisch crawlen | |
| GoogleOther | Generieke crawl voor verschillende productteams van Google | Ja. Google zegt dat algemene crawlers bij automatisch crawlen altijd robots.txt-regels volgen. | |
| GPTBot | OpenAI | Training | Ja, volgt robots.txt |
| ICC-Crawler | NICT (Universal Communication Research Institute) | Onderzoeksdata verzamelen (inclusief AI-onderzoek en -ontwikkeling) | Ja, en bij een Crawl-Delay gebruikt hij het grootste van dat interval en zijn eigen minimum |
| ImagesiftBot | Hive (ImageSift) | Afbeeldingsindex voor zoeken naar vergelijkbare afbeeldingen | Ja, en hij ondersteunt Crawl-delay |
| Kagibot | Kagi | Zoeken | Ja, standaard robots.txt-regels die op Kagibot gericht zijn worden gerespecteerd |
| LinkupBot | Linkup | Zoekindex voor AI-webzoeken | Ja, de aanbieder zegt dat hij toepasselijke robots.txt-regels respecteert |
| Meta-ExternalAgent | Meta | AI-modeltraining en contentindexering | Ja |
| Meta-ExternalFetcher | Meta | Door de gebruiker gestart ophalen | Gedeeltelijk, kan robots.txt omzeilen omdat een gebruiker de ophaalacties vraagt |
| Meta-WebIndexer | Meta | Zoeken | Ja, wijzigingen kunnen tot 24 uur duren |
| MistralAI-User | Mistral | Door de gebruiker gestart ophalen | Opt-out via robots.txt |
| MojeekBot | Mojeek | Zoeken | Ja, volgt de Robots Exclusion Standard; crawl-delay wordt niet ondersteund |
| OAI-SearchBot | OpenAI | Zoeken | Ja, volgt robots.txt |
| Perplexity-User | Perplexity | Door de gebruiker gestart ophalen | Negeert robots.txt-regels meestal, omdat een gebruiker het ophalen vroeg |
| PerplexityBot | Perplexity | Zoeken | Ja, volgt robots.txt |
| Storebot-Google | Zoeken (onderdelen van Google Shopping) | Ja. Google zegt dat algemene crawlers bij automatisch crawlen altijd robots.txt-regels volgen. | |
| YandexBot | Yandex | Zoeken (belangrijkste indexeringsrobot) | Ja, houdt rekening met de algemene regels in robots.txt (User-agent: *) |
| YouBot | You.com | Zoeken | Ja, robots.txt wordt 30 minuten gecachet, dus wijzigingen kunnen tot 30 minuten duren |
robots.txt om te kopiëren: modeltraining weigeren, in AI-zoeken blijven
Aanbieders die zeggen dat hun crawler kan worden gebruikt om modellen te trainen: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot. Het eerste blok zet die uit. Het tweede houdt de zoek- en antwoordcrawlers aan: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, Meta-WebIndexer. Dat is een keuze voor jouw bedrijf, en een Disallow geldt alleen voor bots die zich eraan houden.
Training weigeren
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /In AI-zoeken blijven
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Meta-WebIndexer
Allow: /- Amazonbot: wat het doet en wat blokkeren verandertAmazonbot (Amazon): meerdere taken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Amzn-SearchBot: wat het doet en wat blokkeren verandertAmzn-SearchBot (Amazon): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Amzn-User: wat het doet en wat blokkeren verandertAmzn-User (Amazon): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Applebot-Extended: wat het doet en wat blokkeren verandertApplebot-Extended (Apple): controletoken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Applebot: wat het doet en wat blokkeren verandertApplebot (Apple): meerdere taken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Baiduspider: wat het doet en wat blokkeren verandertBaiduspider (Baidu): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Bingbot: wat het doet en wat blokkeren verandertBingbot (Microsoft): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- CCBot: wat het doet en wat blokkeren verandertCCBot (Common Crawl): meerdere taken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- ChatGPT-User: wat het doet en wat blokkeren verandertChatGPT-User (OpenAI): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Claude-SearchBot: wat het doet en wat blokkeren verandertClaude-SearchBot (Anthropic): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Claude-User: wat het doet en wat blokkeren verandertClaude-User (Anthropic): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- ClaudeBot: wat het doet en wat blokkeren verandertClaudeBot (Anthropic): training. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Diffbot: wat het doet en wat blokkeren verandertDiffbot (Diffbot): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- DuckAssistBot: wat het doet en wat blokkeren verandertDuckAssistBot (DuckDuckGo): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- DuckDuckBot: wat het doet en wat blokkeren verandertDuckDuckBot (DuckDuckGo): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- ExaSearchBot: wat het doet en wat blokkeren verandertExaSearchBot (Exa): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- ExaUser: wat het doet en wat blokkeren verandertExaUser (Exa): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Google-Agent: wat het doet en wat blokkeren verandertGoogle-Agent (Google): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Google-CloudVertexBot: wat het doet en wat blokkeren verandertGoogle-CloudVertexBot (Google): meerdere taken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Google-Extended: wat het doet en wat blokkeren verandertGoogle-Extended (Google): controletoken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Google-GeminiNotebook: wat het doet en wat blokkeren verandertGoogle-GeminiNotebook (Google): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Google-Pinpoint: wat het doet en wat blokkeren verandertGoogle-Pinpoint (Google): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Googlebot: wat het doet en wat blokkeren verandertGooglebot (Google): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- GoogleOther: wat het doet en wat blokkeren verandertGoogleOther (Google): meerdere taken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- GPTBot: wat het doet en wat blokkeren verandertGPTBot (OpenAI): training. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- ICC-Crawler: wat het doet en wat blokkeren verandertICC-Crawler (NICT (Universal Communication Research Institute)): training. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- ImagesiftBot: wat het doet en wat blokkeren verandertImagesiftBot (Hive (ImageSift)): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Kagibot: wat het doet en wat blokkeren verandertKagibot (Kagi): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- LinkupBot: wat het doet en wat blokkeren verandertLinkupBot (Linkup): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Meta-ExternalAgent: wat het doet en wat blokkeren verandertMeta-ExternalAgent (Meta): meerdere taken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Meta-ExternalFetcher: wat het doet en wat blokkeren verandertMeta-ExternalFetcher (Meta): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- Meta-WebIndexer: wat het doet en wat blokkeren verandertMeta-WebIndexer (Meta): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- MistralAI-User: wat het doet en wat blokkeren verandertMistralAI-User (Mistral): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- MojeekBot: wat het doet en wat blokkeren verandertMojeekBot (Mojeek): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- OAI-SearchBot: wat het doet en wat blokkeren verandertOAI-SearchBot (OpenAI): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Perplexity-User: wat het doet en wat blokkeren verandertPerplexity-User (Perplexity): door de gebruiker gestart ophalen. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert.
- PerplexityBot: wat het doet en wat blokkeren verandertPerplexityBot (Perplexity): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- Storebot-Google: wat het doet en wat blokkeren verandertStorebot-Google (Google): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- YandexBot: wat het doet en wat blokkeren verandertYandexBot (Yandex): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.
- YouBot: wat het doet en wat blokkeren verandertYouBot (You.com): zoeken. robots.txt-token, wat een Disallow verandert en hoe je een verzoek controleert, gelezen op de pagina van de aanbieder.