Prüfungen / Zugriff der KI-Crawler

robots.txt hält Claude-User von Ihrer Startseite und dem Großteil der Website fern

Claude-User darf nur die Pfade lesen, die robots.txt für ihn erlaubt. Ihre Startseite und der Rest der Website bleiben ihm verschlossen, daher kann er sie nicht zitieren.

robots_partial_claude_user · Zugriff der KI-Crawler · Fehler

Was sie auslöst

robots.txt erlaubt Claude-User nicht, Ihre Startseite abzurufen, lässt ihm aber einige andere Pfade offen; der Befund nennt die ersten drei.

Was zu ändern ist

Entfernen Sie die Regel Disallow: / für Claude-User in robots.txt oder ergänzen Sie Allow-Regeln für die weiteren Pfade, die gelesen werden sollen.

Beispiel

Zeilen in der robots.txt, die Claude-User erlauben:

User-agent: Claude-User
Allow: /

Wie häufig es vorkommt

Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.

Zu dieser Prüfung

Prüfungs-ID	`robots_partial_claude_user`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Fehler
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode