Prüfungen / Zugriff der KI-Crawler

robots.txt blockiert CCBot

Blockiert CCBot (Common Crawl), der Trainingsdaten sammelt. Ihre Seiten bleiben so aus künftigem Modelltraining heraus, nicht aber aus ChatGPT oder anderer KI-Suche.

robots_ccbot · Zugriff der KI-Crawler · Hinweis

Was zu ändern ist

Nur wenn Ihre Seiten in offenen Trainingsdatensätzen erscheinen sollen: Entfernen Sie die Disallow-Regel für CCBot.

Beispiel

Zeilen in der robots.txt, die CCBot erlauben:

User-agent: CCBot
Allow: /

Wie häufig es vorkommt

In einer Stichprobe hat die Studie Sites, deren robots.txt CCBot blockiert gemessen: 11 von 294 Show-HN-Sites (4 %) und 0 von 67 Lovable-Sites (0 %).

Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).

Zu dieser Prüfung

Prüfungs-ID	`robots_ccbot`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Hinweis
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode