Welke AI-crawlers blokkeren de sites van je klanten?
Plak tot 25 domeinen, één per regel. Per site lezen we de robots.txt zoals een crawler dat doet en tonen we welke van 14 AI-crawlers binnenkomen, in één tabel die je als CSV downloadt. Gratis, zonder account.
Wat je krijgt
- Eén rij per site: of robots.txt er is, welke trainingscrawlers de site blokkeert (GPTBot, ClaudeBot, Google-Extended, CCBot) en welke zoekcrawlers van antwoordmachines (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
- Het aandeel van je lijst dat elk type blokkeert, naast hetzelfde aandeel bij populaire Europese sites in onze wekelijkse AI-Access Index.
- Een CSV in de kolommen van de Index, één rij per site, voor je eigen rapport.
Hoe de lijst wordt gelezen
Elke robots.txt wordt opgevraagd via https, dan https met www, dan http en gelezen volgens RFC 9309: de groep die de crawler noemt wint, anders de *-groep; de langste passende regel wint. "Blokkeert" betekent dat de crawler de homepage niet mag ophalen. Dit is wat elke site vraagt; de check van één site test ook wat de server elke crawler antwoordt.
Voor wie
Voor bureaus en consultants die een klant in één regel moeten zeggen of GPTBot, ClaudeBot of PerplexityBot de site kunnen lezen, en welke klanten ze eerst bellen.