Controles / Toegang voor AI-crawlers
robots.txt houdt OAI-SearchBot buiten je startpagina en het grootste deel van de site
OAI-SearchBot mag alleen de paden lezen die robots.txt voor deze bot toestaat. Je startpagina en de rest van de site blijven dicht, dus hij kan ze niet noemen.
robots_partial_oai_searchbot · Toegang voor AI-crawlers · Fout
Wat haar activeert
robots.txt laat OAI-SearchBot je startpagina niet ophalen, maar laat voor hem een paar andere paden open; de bevinding noemt de eerste drie.
Wat je moet aanpassen
Verwijder de regel Disallow: / voor OAI-SearchBot in robots.txt, of voeg Allow-regels toe voor de andere paden die gelezen mogen worden.
Voorbeeld
Regels in robots.txt die OAI-SearchBot toestaan:
User-agent: OAI-SearchBot
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: de groep die OAI-SearchBot noemt (of de *-groep, als geen enkele dat doet) laat het grootste deel van de site open, niet alleen de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers meldt OAI-SearchBot niet meer als grotendeels geblokkeerd
Over OAI-SearchBot
OAI-SearchBot is de crawler van OpenAI voor het zoeken in ChatGPT. Sites die zich ervoor afmelden, worden niet getoond in de zoekantwoorden van ChatGPT, al kunnen ze nog wel als navigatielinks verschijnen. Hij volgt robots.txt onder het token OAI-SearchBot en OpenAI publiceert 39 IP-bereiken voor de crawler.
GPTBot is voor training. Als je hem blokkeert, verdwijn je niet uit het zoeken van ChatGPT, omdat de instellingen los van elkaar staan.
OpenAI publiceert de adressen die OAI-SearchBot gebruikt op openai.com/searchbot.json. Dat bestand bevatte op 21 oktober 2026 39 prefixen en had aanmaaktijd 2026-01-02. Vergelijk het adres in je serverlog met die prefixen voordat je een verzoek vertrouwt dat alleen de naam in zijn user agent claimt. OpenAI zegt ook dat het een `robots.txt`-markering aan de user-agent-string kan toevoegen als het robots.txt ophaalt. Zulke verzoeken zijn in logs zonder paden dus makkelijk te onderscheiden.
Taak: Zoeken. Volgt robots.txt: Ja, OAI-SearchBot volgt robots.txt.
OAI-SearchBot: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.
Over deze controle
| Controle-ID | robots_partial_oai_searchbot |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt houdt Claude-SearchBot buiten je startpagina en het grootste deel van de site
- robots.txt houdt Claude-User buiten je startpagina en het grootste deel van de site
- robots.txt houdt Perplexity-User buiten je startpagina en het grootste deel van de site
- robots.txt houdt PerplexityBot buiten je startpagina en het grootste deel van de site
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode