KI-Crawler / KI-Crawler

PerplexityBot: Aufgabe und Wirkung einer Sperre

Von der CitedBy-Redaktion · Geprüft am 2026-10-21 · 2 Quellen · Methode (EN)

Was PerplexityBot ist

Perplexity nennt zwei Agenten. PerplexityBot baut den Suchindex auf, Perplexity-User besucht eine Seite, wenn jemand danach fragt. Perplexitys Seite enthält Konfigurationsrichtlinien für gängige WAF-Anbieter, weil eine Firewall den Crawler stoppen kann, bevor robots.txt überhaupt eine Rolle spielt.

Was der Betreiber sagt

Die Worte des Betreibers (englisches Original): “PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.”

Quelle: Perplexity: Perplexity Crawlers, gelesen am 21. Oktober 2026.

Was passiert, wenn Sie PerplexityBot sperren

Perplexity empfiehlt, PerplexityBot in robots.txt zuzulassen und Anfragen aus seinen veröffentlichten IP-Bereichen zu erlauben, wenn Sie in den Suchergebnissen erscheinen wollen. Laut Perplexity kann es außerdem bis zu 24 Stunden dauern, bis sich Änderungen an Ihrer robots.txt in seinen Systemen zeigen, daher beweist eine Prüfung eine Stunde nach einer Änderung wenig.

Die robots.txt-Zeilen

So erlauben Sie PerplexityBot:

User-agent: PerplexityBot
Allow: /

So sperren Sie PerplexityBot:

User-agent: PerplexityBot
Disallow: /

Fügen Sie einen Block in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt. Eine Gruppe für ein Token gilt nicht für die anderen Crawler desselben Betreibers.

Der User-Agent-String laut Betreiber:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Woran Sie eine echte von einer gefälschten Anfrage unterscheiden

Perplexitys Datei unter perplexity.com/perplexitybot.json enthielt am 21. Oktober 2026 8 Präfixe, Erstellungszeit 2025-02-07. Ihr WAF-Abschnitt schlägt eine Regel vor, die User-Agent und IP-Bedingung kombiniert, sodass eine Anfrage, die den Namen von einer anderen Adresse aus behauptet, nicht durchkommt.

Vergleich mit Perplexity-User

Perplexity-User: Der vom Nutzer ausgelöste Fetcher; laut Perplexity ignoriert er robots.txt in der Regel.

Ihre eigene Website

Der kostenlose Check im Kasten oben testet PerplexityBot mit einer echten Anfrage und liest dafür die robots.txt. Die vollständige Liste der Crawler steht im KI-Crawler-Verzeichnis.

Häufige Fragen

Befolgt PerplexityBot die robots.txt?

Ja, er befolgt robots.txt. Geben Sie PerplexityBot in der robots.txt eine eigene User-agent-Gruppe: Die anderen Crawler desselben Betreibers haben jeweils eigene Einstellungen.

Woher weiß ich, dass PerplexityBot wirklich gesperrt ist?

Die robots.txt ist nur eine Ebene: Auch eine CDN- oder Firewall-Regel kann einen Crawler abweisen, und ein Crawler kann die Datei ignorieren. Suchen Sie den User-Agent in Ihrem Server-Log und testen Sie die Adresse von außerhalb Ihres Netzes.

Quellen

• Perplexity: Perplexity Crawlers
• perplexity.com/perplexitybot.json