Controles / Toegang voor AI-crawlers
robots.txt blokkeert ChatGPT-User
ChatGPT-User haalt een pagina op wanneer iemand ChatGPT erover vraagt. Als je die blokkeert, kan ChatGPT je pagina's niet openen op verzoek.
robots_chatgpt_user · Toegang voor AI-crawlers · Fout
Wat haar activeert
robots.txt laat ChatGPT-User je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Verwijder de Disallow-regel voor ChatGPT-User in robots.txt.
Voorbeeld
Regels in robots.txt die ChatGPT-User toestaan:
User-agent: ChatGPT-User
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die ChatGPT-User noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont ChatGPT-User als toegestaan
Over ChatGPT-User
ChatGPT-User bezoekt een webpagina als iemand ChatGPT of een aangepaste GPT een vraag stelt waarvoor die pagina nodig is. OpenAI zegt dat hij niet automatisch crawlt en dat robots.txt-regels mogelijk niet gelden, omdat een gebruiker het verzoek start. OpenAI vermeldt 234 IP-bereiken voor deze agent.
Omdat het bezoek door een gebruiker wordt gestart, waarschuwt OpenAI dat robots.txt-regels mogelijk niet gelden. Een regel `Disallow` voor ChatGPT-User is dus een verzoek dat door de gebruiker gestarte bezoeken mogelijk niet volgen. OpenAI zegt ook dat ChatGPT-User niet wordt gebruikt om te bepalen of content in zoekresultaten verschijnt, en verwijst opt-outs voor zoeken naar OAI-SearchBot. Wil je deze verzoeken stoppen, dan regel je dat op je server of CDN, niet alleen in robots.txt.
Taak: Ophalen op verzoek van een gebruiker. Volgt robots.txt: Niet altijd. OpenAI zegt dat robots.txt-regels mogelijk niet gelden voor ChatGPT-User, omdat de acties door een gebruiker worden gestart..
ChatGPT-User: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt ChatGPT-User blokkeert: 0 van 294 Show HN-sites (0%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_chatgpt_user |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- Site wordt niet via HTTPS aangeboden
- Pagina's geven een foutstatus terug
- robots.txt blokkeert Claude-SearchBot
- robots.txt blokkeert Claude-User
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode