Prüfungen / Zugriff der KI-Crawler
robots.txt hält Claude-SearchBot von Ihrer Startseite und dem Großteil der Website fern
Claude-SearchBot darf nur die Pfade lesen, die robots.txt für ihn erlaubt. Ihre Startseite und der Rest der Website bleiben ihm verschlossen, daher kann er sie nicht zitieren.
robots_partial_claude_searchbot · Zugriff der KI-Crawler · Fehler
Was sie auslöst
robots.txt erlaubt Claude-SearchBot nicht, Ihre Startseite abzurufen, lässt ihm aber einige andere Pfade offen; der Befund nennt die ersten drei.
Was zu ändern ist
Entfernen Sie die Regel Disallow: / für Claude-SearchBot in robots.txt oder ergänzen Sie Allow-Regeln für die weiteren Pfade, die gelesen werden sollen.
Beispiel
Zeilen in der robots.txt, die Claude-SearchBot erlauben:
User-agent: Claude-SearchBot
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Die Gruppe, die Claude-SearchBot nennt (oder die *-Gruppe, wenn keine es tut), lässt den größten Teil der Website offen, nicht nur die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler meldet Claude-SearchBot nicht mehr als größtenteils gesperrt
Über Claude-SearchBot
Claude-SearchBot ist der Anthropic-Bot, der das Web durchläuft, um die Qualität von Suchergebnissen zu verbessern. Laut Anthropic verhindert ein Deaktivieren, dass Ihre Inhalte für die Suchoptimierung indexiert werden, was Ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen der Nutzer verringern kann. Sein robots.txt-Token ist Claude-SearchBot.
ClaudeBot ist der Trainings-Crawler von Anthropic: Laut Anthropic bedeutet ein Disallow dafür, dass künftige Inhalte aus den Trainingsdatensätzen seiner KI-Modelle ausgeschlossen werden sollen. Claude-SearchBot hat sein eigenes Token.
Der Hilfeartikel ist auf den 7. April 2026 datiert. Er nennt keinen User-Agent-String, eine Logzeile mit Claude-SearchBot ist deshalb eine Behauptung, die Sie allein mit dem Artikel nicht bestätigen können. Laut Anthropic stammt Traffic von einer Adresse auf der verlinkten Liste von Anthropic, und Websitebetreiber, die ein Fehlverhalten eines Bots vermuten, sollen von einer E-Mail-Adresse der betroffenen Domain aus schreiben.
Aufgabe: Suche. Beachtet robots.txt: Ja, laut Anthropic beachten seine Bots robots.txt.
Claude-SearchBot: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.
Zu dieser Prüfung
| Prüfungs-ID | robots_partial_claude_searchbot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Fehler |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt blockiert OAI-SearchBot
- robots.txt hält ChatGPT-User von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält Claude-User von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält OAI-SearchBot von Ihrer Startseite und dem Großteil der Website fern
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode