Controles / Toegang voor AI-crawlers
llms.txt wijst naar pagina's die crawlers niet kunnen gebruiken
De adressen in llms.txt zijn de pagina's die je assistenten laat lezen. Sommige zijn noindex, geblokkeerd door robots.txt, verwijzen door, geven een fout, of er linkt geen pagina naar: de kaart spreekt de site tegen.
llms_txt_conflicts · Toegang voor AI-crawlers · Opmerking
Wat haar activeert
Een adres in je llms.txt wordt door robots.txt geblokkeerd, antwoordt met een fout, redirect, staat op noindex, of heeft, bij een afgeronde crawl, geen link vanaf een pagina en staat niet in de sitemap.
Wat je moet aanpassen
Haal die adressen uit llms.txt, of repareer de pagina: verwijder de noindex of de robots-regel, link naar het eindadres en link ernaar vanaf een pagina van de site.
Zo bevestig je de oplossing
- Open elk adres uit llms.txt: het geeft 200, heeft geen noindex en wordt toegestaan door robots.txt
- Start een nieuwe crawl
Hoe vaak het voorkomt
We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.
Over deze controle
| Controle-ID | llms_txt_conflicts |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Nee, de oplossing wordt in tekst beschreven |
Verwante controles
- Je firewall of CDN weigert AI-zoekcrawlers
- Geen llms-full.txt (optioneel)
- Geen llms.txt (optioneel)
- robots.txt blokkeert CCBot
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode