Controles / Toegang voor AI-crawlers
Je firewall of CDN weigert AI-trainingscrawlers
Ons testverzoek met de user agent van een trainingscrawler (GPTBot, ClaudeBot) is geweigerd, terwijl een browser de pagina wel kreeg. Zo blijven pagina's buiten modeltraining, maar niet buiten AI-zoekmachines.
waf_blocks_training_bots · Toegang voor AI-crawlers · Opmerking
Wat haar activeert
Een verzoek om je startpagina dat GPTBot of ClaudeBot in de user agent noemt, krijgt iets anders dan 200 (of twee keer geen antwoord binnen 15 seconden), terwijl een browserverzoek 200 krijgt.
Wat je moet aanpassen
Sta de geverifieerde crawler alleen in je WAF toe als je wilt dat je pagina's in modeltraining komen.
Hoe vaak het voorkomt
We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.
Over deze controle
| Controle-ID | waf_blocks_training_bots |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Nee, de oplossing wordt in tekst beschreven |
Verwante controles
- robots.txt houdt Google-Extended buiten je startpagina en het grootste deel van de site
- robots.txt houdt GPTBot buiten je startpagina en het grootste deel van de site
- Site wordt niet via HTTPS aangeboden
- Pagina's geven een foutstatus terug
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode