KI-Crawler / KI-Crawler

Claude-SearchBot: Aufgabe und Wirkung einer Sperre

Von der CitedBy-Redaktion · Geprüft am 2026-10-21 · Methode (EN)

Was Claude-SearchBot ist

Claude-SearchBot ist die Indexierungsseite von Anthropics Suche. Anthropic beschreibt ihn so, dass er Online-Inhalte analysiert, um die Relevanz und Genauigkeit von Suchantworten zu verbessern. ClaudeBot sammelt für das Training, und Claude-User beantwortet eine Live-Frage.

Was der Betreiber sagt

Die Worte des Betreibers (englisches Original): “Claude-SearchBot navigates the web to improve search result quality for users. It analyzes online content specifically to enhance the relevance and accuracy of search responses. Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization, which may reduce your site's visibility and accuracy in user search results.”

Quelle: Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (7 April 2026), gelesen am 21. Oktober 2026.

Was passiert, wenn Sie Claude-SearchBot sperren

Anthropic nennt zwei Folgen, wenn Sie ihn deaktivieren: Ihre Inhalte werden nicht für die Suchoptimierung indexiert, und die Sichtbarkeit und Genauigkeit Ihrer Website in den Suchergebnissen der Nutzer kann sinken.

Die robots.txt-Zeilen

So erlauben Sie Claude-SearchBot:

User-agent: Claude-SearchBot
Allow: /

So sperren Sie Claude-SearchBot:

User-agent: Claude-SearchBot
Disallow: /

Fügen Sie einen Block in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt. Eine Gruppe für ein Token gilt nicht für die anderen Crawler desselben Betreibers.

Die Seite des Betreibers nennt keinen vollständigen User-Agent-String für Claude-SearchBot.

Woran Sie eine echte von einer gefälschten Anfrage unterscheiden

Der Hilfeartikel ist auf den 7. April 2026 datiert. Er nennt keinen User-Agent-String, eine Logzeile mit Claude-SearchBot ist deshalb eine Behauptung, die Sie allein mit dem Artikel nicht bestätigen können. Laut Anthropic stammt Traffic von einer Adresse auf der verlinkten Liste von Anthropic, und Websitebetreiber, die ein Fehlverhalten eines Bots vermuten, sollen von einer E-Mail-Adresse der betroffenen Domain aus schreiben.

Vergleich mit ClaudeBot

ClaudeBot: Wer ClaudeBot sperrt, widerspricht nur dem Training; Sie verschwinden dadurch nicht aus Claudes Suchindex.

Ihre eigene Website

Der kostenlose Check im Kasten oben testet acht Crawler (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot und Googlebot). Claude-SearchBot gehört nicht dazu: Lesen Sie Ihre robots.txt auf eine Gruppe Claude-SearchBot und suchen Sie den User-Agent in Ihrem Server-Log. Die vollständige Liste der Crawler steht im KI-Crawler-Verzeichnis.

Häufige Fragen

Befolgt Claude-SearchBot die robots.txt?

Ja, laut Anthropic beachten seine Bots robots.txt. Geben Sie Claude-SearchBot in der robots.txt eine eigene User-agent-Gruppe: Die anderen Crawler desselben Betreibers haben jeweils eigene Einstellungen.

Woher weiß ich, dass Claude-SearchBot wirklich gesperrt ist?

Die robots.txt ist nur eine Ebene: Auch eine CDN- oder Firewall-Regel kann einen Crawler abweisen, und ein Crawler kann die Datei ignorieren. Suchen Sie den User-Agent in Ihrem Server-Log und testen Sie die Adresse von außerhalb Ihres Netzes.

Quellen

• Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (7 April 2026)