Prüfungen / Zugriff der KI-Crawler

robots.txt blockiert Claude-SearchBot

Claude-SearchBot ist der Such-Crawler eines der großen KI-Assistenten.

robots_claude_searchbot · Zugriff der KI-Crawler · Fehler

Was sie auslöst

robots.txt erlaubt Claude-SearchBot nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.

Was zu ändern ist

Entfernen Sie die Disallow-Regel für Claude-SearchBot in der robots.txt.

Beispiel

Zeilen in der robots.txt, die Claude-SearchBot erlauben:

User-agent: Claude-SearchBot
Allow: /

So bestätigen Sie die Korrektur

Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die Claude-SearchBot nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt Claude-SearchBot als erlaubt auf

Über Claude-SearchBot

Claude-SearchBot ist der Anthropic-Bot, der das Web durchläuft, um die Qualität von Suchergebnissen zu verbessern. Laut Anthropic verhindert ein Deaktivieren, dass Ihre Inhalte für die Suchoptimierung indexiert werden, was Ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen der Nutzer verringern kann. Sein robots.txt-Token ist Claude-SearchBot.

Anthropic nennt zwei Folgen, wenn Sie ihn deaktivieren: Ihre Inhalte werden nicht für die Suchoptimierung indexiert, und die Sichtbarkeit und Genauigkeit Ihrer Website in den Suchergebnissen der Nutzer kann sinken.

Aufgabe: Suche. Beachtet robots.txt: Ja, laut Anthropic beachten seine Bots robots.txt.

Claude-SearchBot: Betreiber, User-Agent-Zeichenfolge und Adressliste

Wie häufig es vorkommt

In einer Stichprobe hat die Studie Sites, deren robots.txt Claude-SearchBot blockiert gemessen: 0 von 294 Show-HN-Sites (0 %) und 0 von 67 Lovable-Sites (0 %).

Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).

Zu dieser Prüfung

Prüfungs-ID	`robots_claude_searchbot`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Fehler
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode