Controles / Toegang voor AI-crawlers
robots.txt blokkeert CCBot
Blokkeert CCBot (Common Crawl), die trainingsdata verzamelt. Zo blijven je pagina's buiten toekomstige modeltraining, maar niet buiten ChatGPT of andere AI-zoekmachines.
robots_ccbot · Toegang voor AI-crawlers · Opmerking
Wat je moet aanpassen
Alleen als je wilt dat je pagina's in open trainingsdatasets komen: verwijder de Disallow-regel voor CCBot.
Voorbeeld
Regels in robots.txt die CCBot toestaan:
User-agent: CCBot
Allow: /Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt CCBot blokkeert: 11 van 294 Show HN-sites (4%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_ccbot |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt blokkeert ChatGPT-User
- robots.txt blokkeert Claude-SearchBot
- robots.txt blokkeert Claude-User
- robots.txt blokkeert OAI-SearchBot
- robots.txt blokkeert Perplexity-User
- robots.txt blokkeert PerplexityBot
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode