Prüfungen / Zugriff der KI-Crawler

robots.txt blockiert Claude-User

Claude-User ruft eine Seite ab, wenn jemand diesen Assistenten danach fragt.

robots_claude_user · Zugriff der KI-Crawler · Fehler

Was sie auslöst

robots.txt erlaubt Claude-User nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.

Was zu ändern ist

Entfernen Sie die Disallow-Regel für Claude-User in der robots.txt.

Beispiel

Zeilen in der robots.txt, die Claude-User erlauben:

User-agent: Claude-User
Allow: /

So bestätigen Sie die Korrektur

Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die Claude-User nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt Claude-User als erlaubt auf

Über Claude-User

Claude-User ist der Agent, den Claude nutzen kann, um auf eine Website zuzugreifen, wenn jemand ihm eine Frage stellt. Laut Anthropic verhindert ein Deaktivieren, dass Ihre Inhalte als Antwort auf eine Nutzeranfrage abgerufen werden, was Ihre Sichtbarkeit bei der nutzergesteuerten Websuche verringern kann. Er ist getrennt von ClaudeBot und Claude-SearchBot.

Hier ist Anthropics Formulierung zu den Kosten am direktesten: Claude-User zu deaktivieren verhindert den Abruf „als Antwort auf eine Nutzeranfrage“ und „kann die Sichtbarkeit Ihrer Website bei der nutzergesteuerten Websuche verringern“. Ein Shop, der ihn sperrt, kann dem Modell aus anderen Quellen trotzdem bekannt sein, aber Claude kann die Seite auf Nachfrage nicht öffnen.

Aufgabe: Vom Nutzer ausgelöster Abruf. Beachtet robots.txt: Ja, laut Anthropic beachten seine Bots robots.txt.

Claude-User: Betreiber, User-Agent-Zeichenfolge und Adressliste

Wie häufig es vorkommt

Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.

Zu dieser Prüfung

Prüfungs-ID	`robots_claude_user`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Fehler
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode