Prüfungen / Zugriff der KI-Crawler
robots.txt blockiert CCBot
Blockiert CCBot (Common Crawl), der Trainingsdaten sammelt. Ihre Seiten bleiben so aus künftigem Modelltraining heraus, nicht aber aus ChatGPT oder anderer KI-Suche.
robots_ccbot · Zugriff der KI-Crawler · Hinweis
Was sie auslöst
robots.txt erlaubt CCBot nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.
Was zu ändern ist
Nur wenn Ihre Seiten in offenen Trainingsdatensätzen erscheinen sollen: Entfernen Sie die Disallow-Regel für CCBot.
Beispiel
Zeilen in der robots.txt, die CCBot erlauben:
User-agent: CCBot
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die CCBot nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt CCBot als erlaubt auf
Über CCBot
CCBot ist der Crawler von Common Crawl, einer gemeinnützigen Organisation, die ein offenes Archiv von Web-Crawl-Daten pflegt, auf das jeder zugreifen und das jeder analysieren kann. Laut Common Crawl hält User-agent: CCBot mit Disallow: / ihn vom Crawlen einer Website ab. Außerdem warnt Common Crawl, dass andere Crawler sich fälschlich als CCBot ausgeben; prüfen Sie Anfragen also.
Common Crawl sagt, dass User-agent: CCBot mit Disallow: / in robots.txt verhindert, dass Common Crawl die Website crawlt. Die Seite sagt außerdem, man wisse von Crawlern, die sich fälschlich als CCBot ausgeben, und empfiehlt, User-Agent-Strings zu prüfen.
Aufgabe: Offenes Web-Crawl-Archiv. Beachtet robots.txt: Ja, über eine robots.txt-Regel für CCBot.
CCBot: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
In einer Stichprobe hat die Studie Sites, deren robots.txt CCBot blockiert gemessen: 11 von 294 Show-HN-Sites (4 %) und 0 von 67 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | robots_ccbot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Hinweis |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- llms.txt verweist auf Seiten, die Crawler nicht nutzen können
- Keine llms.txt (optional)
- robots.txt blockiert ClaudeBot
- robots.txt blockiert Google-Extended
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode