KI-Crawler / KI-Crawler

Claude-User: Aufgabe und Wirkung einer Sperre

Von der CitedBy-Redaktion · Geprüft am 2026-10-21 · Methode (EN)

Was Claude-User ist

Von Anthropics drei Bots ist Claude-User der, der an die Frage einer Person gebunden ist. Er sammelt keine Trainingsdaten (das tut ClaudeBot) und baut nicht den Suchindex auf (das tut Claude-SearchBot).

Was der Betreiber sagt

Die Worte des Betreibers (englisches Original): “Claude-User supports Claude AI users. When individuals ask questions to Claude, it may access websites using a Claude-User agent. Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search.”

Quelle: Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (7 April 2026), gelesen am 21. Oktober 2026.

Was passiert, wenn Sie Claude-User sperren

Hier ist Anthropics Formulierung zu den Kosten am direktesten: Claude-User zu deaktivieren verhindert den Abruf „als Antwort auf eine Nutzeranfrage“ und „kann die Sichtbarkeit Ihrer Website bei der nutzergesteuerten Websuche verringern“. Ein Shop, der ihn sperrt, kann dem Modell aus anderen Quellen trotzdem bekannt sein, aber Claude kann die Seite auf Nachfrage nicht öffnen.

Die robots.txt-Zeilen

So erlauben Sie Claude-User:

User-agent: Claude-User
Allow: /

So sperren Sie Claude-User:

User-agent: Claude-User
Disallow: /

Fügen Sie einen Block in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt. Eine Gruppe für ein Token gilt nicht für die anderen Crawler desselben Betreibers.

Die Seite des Betreibers nennt keinen vollständigen User-Agent-String für Claude-User.

Woran Sie eine echte von einer gefälschten Anfrage unterscheiden

Anthropics Hilfeartikel nennt für die drei Bots keinen User-Agent-String, und er sagt, die Quell-IP-Adressen stünden auf einer verlinkten Liste. Weil Anthropic außerdem sagt, dass das Sperren dieser Adressen verhindern kann, dass seine Bots robots.txt lesen, rät der Artikel dazu, den Zugriff in robots.txt zu steuern statt auf IP-Ebene.

Vergleich mit Claude-SearchBot

Claude-SearchBot: Bot für die Suchqualität; eine Sperre betrifft die Indexierung für die Suche, nicht die Live-Frage eines Nutzers.

Ihre eigene Website

Der kostenlose Check im Kasten oben testet acht Crawler (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot und Googlebot). Claude-User gehört nicht dazu: Lesen Sie Ihre robots.txt auf eine Gruppe Claude-User und suchen Sie den User-Agent in Ihrem Server-Log. Die vollständige Liste der Crawler steht im KI-Crawler-Verzeichnis.

Häufige Fragen

Befolgt Claude-User die robots.txt?

Ja, laut Anthropic beachten seine Bots robots.txt. Geben Sie Claude-User in der robots.txt eine eigene User-agent-Gruppe: Die anderen Crawler desselben Betreibers haben jeweils eigene Einstellungen.

Woher weiß ich, dass Claude-User wirklich gesperrt ist?

Die robots.txt ist nur eine Ebene: Auch eine CDN- oder Firewall-Regel kann einen Crawler abweisen, und ein Crawler kann die Datei ignorieren. Suchen Sie den User-Agent in Ihrem Server-Log und testen Sie die Adresse von außerhalb Ihres Netzes.

Quellen

• Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (7 April 2026)