Controles / Toegang voor AI-crawlers

robots.txt houdt OAI-SearchBot buiten je startpagina en het grootste deel van de site

OAI-SearchBot mag alleen de paden lezen die robots.txt voor deze bot toestaat. Je startpagina en de rest van de site blijven dicht, dus hij kan ze niet noemen.

robots_partial_oai_searchbot · Toegang voor AI-crawlers · Fout

Wat haar activeert

robots.txt laat OAI-SearchBot je startpagina niet ophalen, maar laat voor hem een paar andere paden open; de bevinding noemt de eerste drie.

Wat je moet aanpassen

Verwijder de regel Disallow: / voor OAI-SearchBot in robots.txt, of voeg Allow-regels toe voor de andere paden die gelezen mogen worden.

Voorbeeld

Regels in robots.txt die OAI-SearchBot toestaan:

User-agent: OAI-SearchBot
Allow: /

Hoe vaak het voorkomt

We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.

Over deze controle

Controle-ID	`robots_partial_oai_searchbot`
Sectie van het rapport	Toegang voor AI-crawlers
Ernst	Fout
Hoe het wordt bepaald	Gemeten: direct gelezen uit de pagina of het antwoord van de server.
Toegevoegd	Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum
Status	Gemeten in elk rapport
Rapport geeft de code	Ja, één blok voor de hele site

Instellingen per platform

Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.

Verwante controles

Kijk of het voor je site geldt

Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.

Controleer mijn site gratis

Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.

Hoe een audit werkt: methode