Controles / Toegang voor AI-crawlers
Je firewall of CDN weigert AI-trainingscrawlers
Ons testverzoek met de user agent van een trainingscrawler (GPTBot, ClaudeBot) is geweigerd, terwijl een browser de pagina wel kreeg. Zo blijven pagina's buiten modeltraining, maar niet buiten AI-zoekmachines.
waf_blocks_training_bots · Toegang voor AI-crawlers · Opmerking
Wat je moet aanpassen
Sta de geverifieerde crawler alleen in je WAF toe als je wilt dat je pagina's in modeltraining komen.
Hoe vaak het voorkomt
We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.
Over deze controle
| Controle-ID | waf_blocks_training_bots |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Nee, de oplossing wordt in tekst beschreven |
Verwante controles
- Je firewall of CDN weigert AI-zoekcrawlers
- Site wordt niet via HTTPS aangeboden
- Pagina's geven een foutstatus terug
- robots.txt blokkeert ChatGPT-User
- robots.txt blokkeert Claude-SearchBot
- robots.txt blokkeert Claude-User
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode