Controles / Toegang voor AI-crawlers
robots.txt blokkeert Perplexity-User
Perplexity-User haalt een pagina op wanneer iemand Perplexity erover vraagt.
robots_perplexity_user · Toegang voor AI-crawlers · Fout
Wat haar activeert
robots.txt laat Perplexity-User je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Verwijder de Disallow-regel voor Perplexity-User in robots.txt.
Voorbeeld
Regels in robots.txt die Perplexity-User toestaan:
User-agent: Perplexity-User
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die Perplexity-User noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont Perplexity-User als toegestaan
Over Perplexity-User
Perplexity-User is de fetcher van Perplexity voor gebruikersacties: als een gebruiker een vraag stelt, kan Perplexity-User een pagina bezoeken om nauwkeurig te antwoorden en naar die pagina te linken. Volgens Perplexity wordt Perplexity-User niet gebruikt om het web te crawlen of AI-modellen te trainen, en negeert de fetcher robots.txt-regels doorgaans omdat het ophalen op verzoek van een gebruiker gebeurt.
Perplexity noemt Perplexity-User als robots.txt-token en zegt dat dit token bepaalt tot welke sites deze gebruikersverzoeken toegang hebben. Perplexity zegt ook dat deze fetcher robots.txt-regels doorgaans negeert omdat het ophalen op verzoek van een gebruiker gebeurt. Volgens Perplexity werkt elke robots.txt-instelling onafhankelijk en kan het tot 24 uur duren voordat wijzigingen ingaan.
Taak: Ophalen op verzoek van een gebruiker. Volgt robots.txt: Meestal niet. Perplexity zegt dat deze fetcher robots.txt-regels doorgaans negeert, omdat het ophalen op verzoek van een gebruiker gebeurt..
Perplexity-User: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt Perplexity-User blokkeert: 0 van 294 Show HN-sites (0%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_perplexity_user |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt houdt Perplexity-User buiten je startpagina en het grootste deel van de site
- robots.txt houdt PerplexityBot buiten je startpagina en het grootste deel van de site
- robots.txt blokkeert PerplexityBot
- Je firewall of CDN weigert AI-zoekcrawlers
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode