Controles / Toegang voor AI-crawlers
robots.txt blokkeert PerplexityBot
PerplexityBot bouwt de index van Perplexity op. Als je die blokkeert, word je daar niet geciteerd.
robots_perplexitybot · Toegang voor AI-crawlers · Fout
Wat haar activeert
robots.txt laat PerplexityBot je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Verwijder de Disallow-regel voor PerplexityBot in robots.txt.
Voorbeeld
Regels in robots.txt die PerplexityBot toestaan:
User-agent: PerplexityBot
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die PerplexityBot noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont PerplexityBot als toegestaan
Over PerplexityBot
PerplexityBot is de crawler van Perplexity om websites in zijn zoekresultaten te tonen en ernaar te verwijzen. Perplexity zegt dat hij niet wordt gebruikt om content te crawlen voor AI-basismodellen. Hij volgt robots.txt, wijzigingen kunnen tot 24 uur duren en Perplexity publiceert 8 IP-bereiken voor de crawler.
Perplexity adviseert PerplexityBot toe te staan in robots.txt en verzoeken van de gepubliceerde IP-bereiken toe te laten als je in de zoekresultaten wilt verschijnen. Perplexity zegt ook dat het tot 24 uur kan duren voordat wijzigingen in je robots.txt in zijn systemen zijn doorgevoerd. Een controle een uur na een aanpassing zegt dus weinig.
Taak: Zoeken. Volgt robots.txt: Ja, PerplexityBot volgt robots.txt.
PerplexityBot: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt PerplexityBot blokkeert: 0 van 294 Show HN-sites (0%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_perplexitybot |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Fout |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt houdt PerplexityBot buiten je startpagina en het grootste deel van de site
- robots.txt blokkeert Perplexity-User
- Je firewall of CDN weigert AI-zoekcrawlers
- Geen llms-full.txt (optioneel)
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode