Prüfungen / Zugriff der KI-Crawler
robots.txt blockiert ClaudeBot
Blockiert ClaudeBot, der Trainingsdaten sammelt. Ihre Seiten bleiben so aus künftigem Modelltraining heraus, nicht aber aus ChatGPT oder anderer KI-Suche.
robots_claudebot · Zugriff der KI-Crawler · Hinweis
Was sie auslöst
robots.txt erlaubt ClaudeBot nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.
Was zu ändern ist
Nur wenn Ihre Seiten in künftiges Modelltraining einfließen sollen: Entfernen Sie die Disallow-Regel für ClaudeBot. Die Aufnahme in die Suche wird über Claude-SearchBot gesteuert.
Beispiel
Zeilen in der robots.txt, die ClaudeBot erlauben:
User-agent: ClaudeBot
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die ClaudeBot nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt ClaudeBot als erlaubt auf
Über ClaudeBot
ClaudeBot ist Anthropics Crawler für Inhalte, die zum Modelltraining beitragen könnten. Ein Disallow in robots.txt signalisiert, dass künftige Materialien einer Website aus Trainingsdatensätzen ausgeschlossen werden sollen. Anthropic beachtet Crawl-delay und warnt, dass das Sperren seiner IP-Adressen verhindern kann, dass er robots.txt liest. Nutzen Sie deshalb robots.txt.
Anthropic sagt, eine Einschränkung signalisiere, dass die künftigen Materialien der Website aus seinen Trainingsdatensätzen ausgeschlossen werden sollen. Die Formulierung lautet „künftige Materialien“; sie sagt nicht, was mit bereits gesammelten Inhalten geschieht. Die beiden anderen Claude-Bots sind getrennt, deshalb bleiben ihre Regeln unberührt, wenn Sie ClaudeBot sperren.
Aufgabe: Training. Beachtet robots.txt: Ja, er befolgt robots.txt und Crawl-delay.
ClaudeBot: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
In einer Stichprobe hat die Studie Sites, deren robots.txt ClaudeBot blockiert gemessen: 10 von 294 Show-HN-Sites (3 %) und 0 von 67 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | robots_claudebot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Hinweis |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- Keine llms.txt (optional)
- robots.txt blockiert CCBot
- robots.txt blockiert Google-Extended
- robots.txt blockiert GPTBot
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode