Controles / Toegang voor AI-crawlers
robots.txt blokkeert GPTBot
Blokkeert GPTBot, die trainingsdata verzamelt. Zo blijven je pagina's buiten toekomstige modeltraining, maar niet buiten ChatGPT of andere AI-zoekmachines.
robots_gptbot · Toegang voor AI-crawlers · Opmerking
Wat haar activeert
robots.txt laat GPTBot je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Alleen als je wilt dat je pagina's in toekomstige modeltraining komen: verwijder de Disallow-regel voor GPTBot. ChatGPT-zoeken wordt bepaald door OAI-SearchBot.
Voorbeeld
Regels in robots.txt die GPTBot toestaan:
User-agent: GPTBot
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die GPTBot noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont GPTBot als toegestaan
Over GPTBot
GPTBot is de trainingscrawler van OpenAI. Met een Disallow in robots.txt laat je OpenAI weten dat de content van de site niet mag worden gebruikt om zijn generatieve AI-basismodellen te trainen. Het regelt het zoeken in ChatGPT niet, want dat gebruikt OAI-SearchBot. OpenAI publiceert 18 IP-bereiken voor GPTBot.
OpenAI ziet een Disallow voor GPTBot als een signaal over training: de content mag niet worden gebruikt om generatieve AI-basismodellen te trainen. Op dezelfde pagina staat een voorbeeld van een site die OAI-SearchBot toestaat om in zoekresultaten te verschijnen en GPTBot uitsluit. Een blokkade hier haalt je dus niet vanzelf uit de zoekantwoorden van ChatGPT. Of je blokkeert, is een zakelijke keuze. Beide zijn legitiem.
Taak: Training. Volgt robots.txt: Ja, GPTBot volgt robots.txt.
GPTBot: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt GPTBot blokkeert: 12 van 294 Show HN-sites (4%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_gptbot |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt blokkeert ClaudeBot
- robots.txt blokkeert Google-Extended
- robots.txt houdt CCBot buiten je startpagina en het grootste deel van de site
- robots.txt houdt ClaudeBot buiten je startpagina en het grootste deel van de site
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode