KI-Crawler / KI-Crawler

ClaudeBot: Aufgabe und Wirkung einer Sperre

Von der CitedBy-Redaktion · Geprüft am 2026-10-21 · Methode (EN)

Was ClaudeBot ist

Anthropic nennt in seinem Hilfeartikel drei Bots: ClaudeBot für Trainingsdaten, Claude-User für Seiten, die auf Wunsch eines Nutzers abgerufen werden, und Claude-SearchBot für die Suchqualität. ClaudeBot ist der für das Training. Der Artikel ist auf den 7. April 2026 datiert.

Was der Betreiber sagt

Die Worte des Betreibers (englisches Original): “ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training. When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.”

Quelle: Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (7 April 2026), gelesen am 21. Oktober 2026.

Was passiert, wenn Sie ClaudeBot sperren

Anthropic sagt, eine Einschränkung signalisiere, dass die künftigen Materialien der Website aus seinen Trainingsdatensätzen ausgeschlossen werden sollen. Die Formulierung lautet „künftige Materialien“; sie sagt nicht, was mit bereits gesammelten Inhalten geschieht. Die beiden anderen Claude-Bots sind getrennt, deshalb bleiben ihre Regeln unberührt, wenn Sie ClaudeBot sperren.

Die robots.txt-Zeilen

So erlauben Sie ClaudeBot:

User-agent: ClaudeBot
Allow: /

So sperren Sie ClaudeBot:

User-agent: ClaudeBot
Disallow: /

Fügen Sie einen Block in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt. Eine Gruppe für ein Token gilt nicht für die anderen Crawler desselben Betreibers.

Die Seite des Betreibers nennt keinen vollständigen User-Agent-String für ClaudeBot.

Woran Sie eine echte von einer gefälschten Anfrage unterscheiden

Anthropics Artikel sagt, seine Bots respektierten „Nicht crawlen“-Signale in robots.txt und versuchten nicht, CAPTCHAs zu umgehen. Er unterstützt die nicht standardisierte Anweisung Crawl-delay, zum Beispiel User-agent: ClaudeBot gefolgt von Crawl-delay: 1. Außerdem sagt Anthropic, dass das Sperren per IP-Adresse möglicherweise keinen dauerhaften Opt-out bewirkt, weil der Bot dann robots.txt nicht lesen kann. Laut Anthropics Artikel muss robots.txt für jede Subdomain gesetzt werden, die Sie ausschließen wollen.

Vergleich mit Claude-SearchBot

Claude-SearchBot: Ein getrennter Such-Bot: Eine Sperre von ClaudeBot betrifft ihn nicht.

Ihre eigene Website

Der kostenlose Check im Kasten oben testet ClaudeBot mit einer echten Anfrage und liest dafür die robots.txt. Die vollständige Liste der Crawler steht im KI-Crawler-Verzeichnis.

Häufige Fragen

Befolgt ClaudeBot die robots.txt?

Ja, er befolgt robots.txt und Crawl-delay. Geben Sie ClaudeBot in der robots.txt eine eigene User-agent-Gruppe: Die anderen Crawler desselben Betreibers haben jeweils eigene Einstellungen.

Woher weiß ich, dass ClaudeBot wirklich gesperrt ist?

Die robots.txt ist nur eine Ebene: Auch eine CDN- oder Firewall-Regel kann einen Crawler abweisen, und ein Crawler kann die Datei ignorieren. Suchen Sie den User-Agent in Ihrem Server-Log und testen Sie die Adresse von außerhalb Ihres Netzes.

Quellen

• Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (7 April 2026)