Controles / Toegang voor AI-crawlers
robots.txt blokkeert Claude-User
Claude-User haalt een pagina op wanneer iemand die assistent erover vraagt.
robots_claude_user · Toegang voor AI-crawlers · Fout
Wat haar activeert
robots.txt laat Claude-User je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Verwijder de Disallow-regel voor Claude-User in robots.txt.
Voorbeeld
Regels in robots.txt die Claude-User toestaan:
User-agent: Claude-User
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die Claude-User noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont Claude-User als toegestaan
Over Claude-User
Claude-User is de agent die Claude kan gebruiken om een website te openen als iemand een vraag stelt. Anthropic zegt dat uitschakelen voorkomt dat je content wordt opgehaald als antwoord op een vraag van een gebruiker. Dat kan je zichtbaarheid voor door gebruikers gestuurd zoeken op het web verminderen. Hij staat los van ClaudeBot en Claude-SearchBot.
Hier is Anthropic het directst over de kosten: uitschakelen van Claude-User voorkomt ophalen „als antwoord op een vraag van een gebruiker“ en „kan de zichtbaarheid van je site voor door gebruikers gestuurd zoeken op het web verminderen“. Een shop die hem blokkeert, kan nog steeds uit andere bronnen bij het model bekend zijn, maar Claude kan de pagina niet openen als erom gevraagd wordt.
Taak: Ophalen op verzoek van een gebruiker. Volgt robots.txt: Ja, Anthropic zegt dat zijn robots robots.txt respecteren.
Claude-User: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
We hebben niet gemeten hoe vaak dit voorkomt in een steekproef van sites. Cijfers verschijnen hier zodra een studie het dekt.
Over deze controle
| Controle-ID | robots_claude_user |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt blokkeert ChatGPT-User
- robots.txt blokkeert Claude-SearchBot
- robots.txt blokkeert OAI-SearchBot
- robots.txt houdt ChatGPT-User buiten je startpagina en het grootste deel van de site
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode