Controles / Toegang voor AI-crawlers
Je firewall of CDN weigert AI-zoekcrawlers
Ons testverzoek met de user agent van een AI-zoekcrawler is geweigerd (403, 429, challenge-pagina of timeout), terwijl een browser de pagina wel kreeg. Echte crawlers komen er misschien toch door als je CDN ze via IP verifieert, dus controleer de logs van je CDN.
waf_blocks_bots · Toegang voor AI-crawlers · Fout
Wat haar activeert
Een verzoek om je startpagina dat CitedBot, PerplexityBot, OAI-SearchBot of Claude-SearchBot in de user agent noemt, krijgt iets anders dan 200 (of twee keer geen antwoord binnen 15 seconden), terwijl een browserverzoek 200 krijgt.
Wat je moet aanpassen
Sta in Cloudflare, Akamai, Sucuri of de WAF van je host de geverifieerde AI-zoekcrawlers toe (OAI-SearchBot, PerplexityBot, Claude-SearchBot) of schakel 'Block AI bots' uit.
Zo bevestig je de oplossing
- Zoek in de logs van je CDN of firewall naar verzoeken met de user agent van de crawler en controleer dat ze 200 krijgen
- Start een nieuwe crawl: de kolom met de livetest toont 200
Hoe vaak het voorkomt
In een steekproef mat de studie firewalls die een echt verzoek van een zoekcrawler op de startpagina weigeren: 3 van 293 Show HN-sites (1%) en 0 van 66 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | waf_blocks_bots |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Nee, de oplossing wordt in tekst beschreven |
Verwante controles
- robots.txt blokkeert Perplexity-User
- robots.txt blokkeert PerplexityBot
- Geen llms-full.txt (optioneel)
- llms.txt wijst naar pagina's die crawlers niet kunnen gebruiken
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode