CitedBy / Data / AI-Access-referentie / Nederland
AI-Access-referentie · gemeten op 26 oktober 2026 · eerste meting op 23 oktober 2026 · English
Nederland (.nl): welke AI-crawlers populaire sites blokkeren
Op 26 oktober 2026 vroeg 22,2% van 427 populaire .nl-sites GPTBot in robots.txt om weg te blijven, en 23,4% (95%-interval: 19,7 tot 27,7) vroeg dat aan minstens één van GPTBot, ClaudeBot, Google-Extended en CCBot: plaats 6 van 25 EU-landdomeinen, geteld vanaf het meest blokkerende. 15,7% blokkeerde minstens één zoekcrawler van AI-antwoordmachines, en over alle 25 landen samen was dat 7,7%.
Wat dit meet
- 23,4% (100 van 427) blokkeren minstens één van GPTBot, ClaudeBot, Google-Extended en CCBot op 26 oktober 2026; op 23 oktober 2026 was dat 22,8%. Alle vier: 16,9% (72).
- 22,2% blokkeren GPTBot (95); 18,7% blokkeren ClaudeBot, 17,6% Google-Extended en 20,4% CCBot.
- 15,7% (67) blokkeren minstens één zoekcrawler van AI-antwoordmachines (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Googlebot, de referentie: 0,9%.
- llms.txt: 12,5% (53 van 425 die antwoordden, 95%-interval 9,7 tot 16,0) publiceren een geldige llms.txt, tegenover 11,7% van alle 10.223 EU-sites die antwoordden (gelezen op 25 oktober 2026).
Tussen 23 oktober 2026 en 26 oktober 2026 hebben 3 van de 427 sites die in beide metingen zijn gelezen hun verzoek aan minstens één van de 14 AI-crawlers gewijzigd (begonnen te blokkeren: 3; gestopt: 0). Direct erboven en eronder in de ranglijst: .fr (24,5%), .es (22,6%). Alle landen en CMS'en (in het Engels).
Per crawler
| Crawler | Geblokkeerd op 23 oktober 2026 (n 430) | Geblokkeerd op 26 oktober 2026 (n 427) | 95%-interval | Alle 25 landen, 26 oktober 2026 |
|---|---|---|---|---|
| GPTBot | 21,6% (93) | 22,2% (95) | 18,6 tot 26,4 | 15,5% |
| OAI-SearchBot | 12,6% (54) | 12,6% (54) | 9,8 tot 16,1 | 5,4% |
| ChatGPT-User | 15,8% (68) | 15,9% (68) | 12,8 tot 19,7 | 7,3% |
| ClaudeBot | 18,1% (78) | 18,7% (80) | 15,3 tot 22,7 | 13,4% |
| Claude-SearchBot | 9,1% (39) | 9,4% (40) | 7,0 tot 12,5 | 4,0% |
| Claude-User | 8,6% (37) | 8,9% (38) | 6,6 tot 12,0 | 3,9% |
| PerplexityBot | 14,4% (62) | 14,5% (62) | 11,5 tot 18,2 | 7,1% |
| Perplexity-User | 12,8% (55) | 12,9% (55) | 10,0 tot 16,4 | 4,2% |
| Google-Extended | 17,4% (75) | 17,6% (75) | 14,2 tot 21,5 | 11,4% |
| Applebot-Extended | 14,9% (64) | 15,5% (66) | 12,3 tot 19,2 | 10,8% |
| CCBot | 19,8% (85) | 20,4% (87) | 16,8 tot 24,5 | 15,3% |
| Bytespider | 18,6% (80) | 19,2% (82) | 15,7 tot 23,2 | 14,4% |
| Amazonbot | 17,9% (77) | 18,0% (77) | 14,7 tot 22,0 | 13,6% |
| meta-externalagent | 14,4% (62) | 14,8% (63) | 11,7 tot 18,4 | 12,1% |
| Googlebot (referentie) | 0,9% (4) | 0,9% (4) | 0,4 tot 2,4 | 0,8% |
| Bingbot (referentie) | 3,0% (13) | 3,0% (13) | 1,8 tot 5,1 | 1,5% |
„Blokkeert” betekent dat de crawler volgens de robots.txt van de site / niet mag opvragen. Googlebot en Bingbot zijn referenties: sites die AI-crawlers buitensluiten, sluiten gewone zoekmachines bijna nooit buiten.
Methode en grenzen
- Steekproef: de 600 best geplaatste domeinen van de Tranco-lijst onder elk van de 25 EU-landdomeinen (Luxemburg 250), Tranco-lijst 56Z8N. Elke week worden dezelfde sites opnieuw gelezen: de data op deze pagina zijn herhaalde metingen van één lijst, geen nieuwe steekproeven.
- Wat wordt gelezen: de
/robots.txtvan elke site, volgens RFC 9309; „blokkeert” betekent dat de crawler/niet mag opvragen. De percentages zijn berekend over de sites waarvan de robots.txt te lezen was; de rest is dekking, geen „toegestaan”. llms.txt: het bestand op/llms.txtis geldig als het de vormcontrole van llmstxt.org doorstaat (methode). - Grenzen: robots.txt is een verzoek, geen afdwinging door een firewall, en deze index meet niet wat een assistent citeert. Een landdomein is niet het land van de eigenaar. Alleen populaire sites: een willekeurige steekproef van hosts geeft lagere cijfers.
- Data: één rij per domein, 23 oktober 2026 · één rij per domein, 26 oktober 2026 · llms.txt per domein, 25 oktober 2026. Licentie CC BY 4.0; citeer als „CitedBy EU AI-Access Index, 26 oktober 2026”.
Wat zegt je robots.txt tegen AI-crawlers?
De gratis check laat zien welke AI-crawlers je robots.txt en je server binnenlaten, met de exacte fix. Met de betaalde audit crawlen we je site tot de paginalimiet van je abonnement en geven we de exacte fix voor elk probleem. Vanaf €9, 14 dagen geld-terug-garantie.