Prüfungen / Zugriff der KI-Crawler

robots.txt hält Claude-User von Ihrer Startseite und dem Großteil der Website fern

Claude-User darf nur die Pfade lesen, die robots.txt für ihn erlaubt. Ihre Startseite und der Rest der Website bleiben ihm verschlossen, daher kann er sie nicht zitieren.

robots_partial_claude_user · Zugriff der KI-Crawler · Fehler

Was sie auslöst

robots.txt erlaubt Claude-User nicht, Ihre Startseite abzurufen, lässt ihm aber einige andere Pfade offen; der Befund nennt die ersten drei.

Was zu ändern ist

Entfernen Sie die Regel Disallow: / für Claude-User in robots.txt oder ergänzen Sie Allow-Regeln für die weiteren Pfade, die gelesen werden sollen.

Beispiel

Zeilen in der robots.txt, die Claude-User erlauben:

User-agent: Claude-User
Allow: /

So bestätigen Sie die Korrektur

Öffnen Sie https://example.com/robots.txt: Die Gruppe, die Claude-User nennt (oder die *-Gruppe, wenn keine es tut), lässt den größten Teil der Website offen, nicht nur die Startseite
Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler meldet Claude-User nicht mehr als größtenteils gesperrt

Über Claude-User

Claude-User ist der Agent, den Claude nutzen kann, um auf eine Website zuzugreifen, wenn jemand ihm eine Frage stellt. Laut Anthropic verhindert ein Deaktivieren, dass Ihre Inhalte als Antwort auf eine Nutzeranfrage abgerufen werden, was Ihre Sichtbarkeit bei der nutzergesteuerten Websuche verringern kann. Er ist getrennt von ClaudeBot und Claude-SearchBot.

Bot für die Suchqualität; eine Sperre betrifft die Indexierung für die Suche, nicht die Live-Frage eines Nutzers.

Anthropics Hilfeartikel nennt für die drei Bots keinen User-Agent-String, und er sagt, die Quell-IP-Adressen stünden auf einer verlinkten Liste. Weil Anthropic außerdem sagt, dass das Sperren dieser Adressen verhindern kann, dass seine Bots robots.txt lesen, rät der Artikel dazu, den Zugriff in robots.txt zu steuern statt auf IP-Ebene.

Aufgabe: Vom Nutzer ausgelöster Abruf. Beachtet robots.txt: Ja, laut Anthropic beachten seine Bots robots.txt.

Claude-User: Betreiber, User-Agent-Zeichenfolge und Adressliste

Wie häufig es vorkommt

Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.

Zu dieser Prüfung

Prüfungs-ID	`robots_partial_claude_user`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Fehler
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode