Wordt GPTBot geblokkeerd op je site?
Vul je domein in. We lezen robots.txt en vragen daarna je homepage één keer op met de eigen user-agent van elke crawler: je ziet de regel én wat je server echt doet.
Wat dit controleert
- robots.txt: welke van de 8 crawlers je bestand toestaat, volgens de standaard (RFC 9309): de meest specifieke groep wint, daarna het langste pad.
- Een echt verzoek: één GET van je homepage per crawler, vanaf ons adres. Een firewall of botfilter die 403, 429 of een controlepagina geeft, zie je hier ook als robots.txt ja zegt.
- Google-Extended is alleen een schakelaar in robots.txt (geen crawler haalt pagina's op onder die naam), dus die lezen we alleen uit robots.txt.
Wie is wie
ChatGPT, Gemini, Copilot, Perplexity en Claude beantwoorden de vragen van kopers met verschillende crawlers. Zoekcrawlers (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) bepalen of je geciteerd kunt worden. ChatGPT-User haalt een pagina op als iemand erom vraagt. Trainingscrawlers (GPTBot, ClaudeBot, Google-Extended) voeden modellen; blokkeren is een keuze die je niet uit antwoorden haalt.
Een punt voor Nederlandse sites
Volgens artikel 15o van de Auteurswet (op basis van richtlijn (EU) 2019/790) geldt de uitzondering voor tekst- en datamining niet als de rechthebbende zich daartegen heeft voorbehouden op machineleesbare wijze, bijvoorbeeld in robots.txt. Een trainingscrawler blokkeren is dus een legitieme keuze. Informatie, geen juridisch advies.
Bekijk een echt resultaat
Resultaten voor openbare sites die niet van ons zijn: