Controles / Toegang voor AI-crawlers
Geen llms.txt (optioneel)
llms.txt is een korte plattegrond van je site, geschreven voor AI-assistenten. Er is geen grote assistent waarvan bevestigd is dat die het bestand leest, dus zie dit als optioneel.
llms_txt_missing · Toegang voor AI-crawlers · Opmerking
Wat je moet aanpassen
Optioneel: publiceer /llms.txt. Een concept op basis van je pagina's staat in het fixvak.
Voorbeeld
Inhoud van /llms.txt:
# Example Shop
> One sentence on what the site offers and who it is for.
## Main pages
- [Products](https://example.com/products): the range
- [Shipping and returns](https://example.com/shipping): costs, delays and returnsHoe vaak het voorkomt
In een steekproef mat de studie sites zonder geldige llms.txt: 192 van 292 Show HN-sites (66%) en 53 van 65 Lovable-sites (82%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Geteld met de regel van de controle, zonder sites die het verzoek weigerden (HTTP 403): CSV met de tellingen.
Over deze controle
| Controle-ID | llms_txt_missing |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Verwante controles
- Geen llms-full.txt (optioneel)
- llms.txt wijst naar pagina's die crawlers niet kunnen gebruiken
- Site wordt niet via HTTPS aangeboden
- Pagina's geven een foutstatus terug
- robots.txt blokkeert ChatGPT-User
- robots.txt blokkeert Claude-SearchBot
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode