Prüfungen / Zugriff der KI-Crawler
robots.txt hält Perplexity-User von Ihrer Startseite und dem Großteil der Website fern
Perplexity-User darf nur die Pfade lesen, die robots.txt für ihn erlaubt. Ihre Startseite und der Rest der Website bleiben ihm verschlossen, daher kann er sie nicht zitieren.
robots_partial_perplexity_user · Zugriff der KI-Crawler · Fehler
Was sie auslöst
robots.txt erlaubt Perplexity-User nicht, Ihre Startseite abzurufen, lässt ihm aber einige andere Pfade offen; der Befund nennt die ersten drei.
Was zu ändern ist
Entfernen Sie die Regel Disallow: / für Perplexity-User in robots.txt oder ergänzen Sie Allow-Regeln für die weiteren Pfade, die gelesen werden sollen.
Beispiel
Zeilen in der robots.txt, die Perplexity-User erlauben:
User-agent: Perplexity-User
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Die Gruppe, die Perplexity-User nennt (oder die *-Gruppe, wenn keine es tut), lässt den größten Teil der Website offen, nicht nur die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler meldet Perplexity-User nicht mehr als größtenteils gesperrt
Über Perplexity-User
Perplexity-User ist Perplexitys Fetcher für vom Nutzer ausgelöste Abrufe: Stellt ein Nutzer eine Frage, kann Perplexity-User eine Seite besuchen, um die Frage korrekt zu beantworten, und auf sie verlinken. Laut Perplexity wird er weder zum Web-Crawling noch zum Training von KI-Modellen verwendet und ignoriert robots.txt-Regeln in der Regel, weil ein Nutzer den Abruf angefordert hat.
PerplexityBot zeigt Websites in den Perplexity-Suchergebnissen an und verlinkt sie, während Perplexity-User eine Seite abruft, wenn die Frage eines Nutzers diesen Abruf erfordert, und robots.txt in der Regel ignoriert.
Perplexity veröffentlicht die IP-Adressen von Perplexity-User als JSON-Datei und sagt, man solle sie zusammen mit dem User-Agent-String als maßgebliche Quelle für Allow-Regeln verwenden.
Aufgabe: Vom Nutzer ausgelöster Abruf. Beachtet robots.txt: In der Regel nicht. Perplexity sagt, dass dieser Fetcher robots.txt-Regeln in der Regel ignoriert, weil ein Nutzer den Abruf angefordert hat..
Perplexity-User: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.
Zu dieser Prüfung
| Prüfungs-ID | robots_partial_perplexity_user |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Fehler |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt hält Claude-User von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält OAI-SearchBot von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält PerplexityBot von Ihrer Startseite und dem Großteil der Website fern
- robots.txt blockiert Perplexity-User
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode