Controles / Toegang voor AI-crawlers
robots.txt blokkeert OAI-SearchBot
OAI-SearchBot bepaalt of ChatGPT-zoeken je site kan tonen.
robots_oai_searchbot · Toegang voor AI-crawlers · Fout
Wat haar activeert
robots.txt laat OAI-SearchBot je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Verwijder de Disallow-regel voor OAI-SearchBot in robots.txt.
Voorbeeld
Regels in robots.txt die OAI-SearchBot toestaan:
User-agent: OAI-SearchBot
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die OAI-SearchBot noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont OAI-SearchBot als toegestaan
Over OAI-SearchBot
OAI-SearchBot is de crawler van OpenAI voor het zoeken in ChatGPT. Sites die zich ervoor afmelden, worden niet getoond in de zoekantwoorden van ChatGPT, al kunnen ze nog wel als navigatielinks verschijnen. Hij volgt robots.txt onder het token OAI-SearchBot en OpenAI publiceert 39 IP-bereiken voor de crawler.
OpenAI zegt zelf dat sites die zich afmelden „niet worden getoond in de zoekantwoorden van ChatGPT“. Dat zijn de kosten: een shop die OAI-SearchBot blokkeert, laat het deel van ChatGPT liggen dat naar bronnen linkt. Voor sites die willen verschijnen, adviseert OpenAI het omgekeerde: sta OAI-SearchBot toe in robots.txt en sta verzoeken van de gepubliceerde IP-bereiken toe.
Taak: Zoeken. Volgt robots.txt: Ja, OAI-SearchBot volgt robots.txt.
OAI-SearchBot: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt OAI-SearchBot blokkeert: 0 van 294 Show HN-sites (0%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_oai_searchbot |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt blokkeert Claude-SearchBot
- robots.txt blokkeert Claude-User
- robots.txt houdt ChatGPT-User buiten je startpagina en het grootste deel van de site
- robots.txt houdt Claude-SearchBot buiten je startpagina en het grootste deel van de site
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode