Controles / Toegang voor AI-crawlers
robots.txt houdt ClaudeBot buiten je startpagina en het grootste deel van de site
ClaudeBot verzamelt trainingsdata en mag alleen de paden lezen die robots.txt toestaat. Dat is een keuze: de meeste pagina's blijven buiten toekomstige modeltraining, niet buiten AI-zoeken.
robots_partial_claudebot · Toegang voor AI-crawlers · Opmerking
Wat haar activeert
robots.txt laat ClaudeBot je startpagina niet ophalen, maar laat voor hem een paar andere paden open; de bevinding noemt de eerste drie.
Wat je moet aanpassen
Verwijder de regel Disallow: / voor ClaudeBot in robots.txt, of voeg Allow-regels toe voor de andere paden die gelezen mogen worden.
Voorbeeld
Regels in robots.txt die ClaudeBot toestaan:
User-agent: ClaudeBot
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: de groep die ClaudeBot noemt (of de *-groep, als geen enkele dat doet) laat het grootste deel van de site open, niet alleen de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers meldt ClaudeBot niet meer als grotendeels geblokkeerd
Over ClaudeBot
ClaudeBot is de crawler van Anthropic voor content die kan bijdragen aan modeltraining. Een Disallow in robots.txt geeft aan dat toekomstig materiaal van een site buiten de trainingsdatasets moet blijven. Anthropic honoreert Crawl-delay en waarschuwt dat het blokkeren van zijn IP-adressen kan voorkomen dat de crawler robots.txt leest. Gebruik daarom robots.txt.
Een aparte zoekrobot: als je ClaudeBot blokkeert, verandert er niets voor die robot.
Volgens het artikel van Anthropic respecteren zijn robots „niet crawlen“-signalen in robots.txt en proberen ze CAPTCHA's niet te omzeilen. Anthropic ondersteunt de niet-standaard Crawl-delay-regel, bijvoorbeeld `User-agent: ClaudeBot` gevolgd door `Crawl-delay: 1`. Anthropic zegt ook dat blokkeren op IP-adres mogelijk geen blijvende opt-out geeft, omdat de robot dan robots.txt niet meer kan lezen. Volgens het artikel van Anthropic moet je robots.txt instellen voor elk subdomein dat je wilt uitsluiten.
Taak: Training. Volgt robots.txt: Ja, ClaudeBot volgt robots.txt en Crawl-delay.
ClaudeBot: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.
Over deze controle
| Controle-ID | robots_partial_claudebot |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt blokkeert GPTBot
- robots.txt houdt CCBot buiten je startpagina en het grootste deel van de site
- robots.txt houdt Google-Extended buiten je startpagina en het grootste deel van de site
- robots.txt houdt GPTBot buiten je startpagina en het grootste deel van de site
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode