Prüfungen / Zugriff der KI-Crawler
robots.txt hält ClaudeBot von Ihrer Startseite und dem Großteil der Website fern
ClaudeBot sammelt Trainingsdaten und darf nur die Pfade lesen, die robots.txt erlaubt. Das ist eine Entscheidung: Die meisten Ihrer Seiten bleiben aus künftigem Modelltraining heraus, nicht aus der KI-Suche.
robots_partial_claudebot · Zugriff der KI-Crawler · Hinweis
Was sie auslöst
robots.txt erlaubt ClaudeBot nicht, Ihre Startseite abzurufen, lässt ihm aber einige andere Pfade offen; der Befund nennt die ersten drei.
Was zu ändern ist
Entfernen Sie die Regel Disallow: / für ClaudeBot in robots.txt oder ergänzen Sie Allow-Regeln für die weiteren Pfade, die gelesen werden sollen.
Beispiel
Zeilen in der robots.txt, die ClaudeBot erlauben:
User-agent: ClaudeBot
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Die Gruppe, die ClaudeBot nennt (oder die *-Gruppe, wenn keine es tut), lässt den größten Teil der Website offen, nicht nur die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler meldet ClaudeBot nicht mehr als größtenteils gesperrt
Über ClaudeBot
ClaudeBot ist Anthropics Crawler für Inhalte, die zum Modelltraining beitragen könnten. Ein Disallow in robots.txt signalisiert, dass künftige Materialien einer Website aus Trainingsdatensätzen ausgeschlossen werden sollen. Anthropic beachtet Crawl-delay und warnt, dass das Sperren seiner IP-Adressen verhindern kann, dass er robots.txt liest. Nutzen Sie deshalb robots.txt.
Ein getrennter Such-Bot: Eine Sperre von ClaudeBot betrifft ihn nicht.
Anthropics Artikel sagt, seine Bots respektierten „Nicht crawlen“-Signale in robots.txt und versuchten nicht, CAPTCHAs zu umgehen. Er unterstützt die nicht standardisierte Anweisung Crawl-delay, zum Beispiel `User-agent: ClaudeBot` gefolgt von `Crawl-delay: 1`. Außerdem sagt Anthropic, dass das Sperren per IP-Adresse möglicherweise keinen dauerhaften Opt-out bewirkt, weil der Bot dann robots.txt nicht lesen kann. Laut Anthropics Artikel muss robots.txt für jede Subdomain gesetzt werden, die Sie ausschließen wollen.
Aufgabe: Training. Beachtet robots.txt: Ja, er befolgt robots.txt und Crawl-delay.
ClaudeBot: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.
Zu dieser Prüfung
| Prüfungs-ID | robots_partial_claudebot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Hinweis |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt blockiert GPTBot
- robots.txt hält CCBot von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält Google-Extended von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält GPTBot von Ihrer Startseite und dem Großteil der Website fern
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode