Prüfungen / Zugriff der KI-Crawler

robots.txt hält GPTBot von Ihrer Startseite und dem Großteil der Website fern

GPTBot sammelt Trainingsdaten und darf nur die Pfade lesen, die robots.txt erlaubt. Das ist eine Entscheidung: Die meisten Ihrer Seiten bleiben aus künftigem Modelltraining heraus, nicht aus der KI-Suche.

robots_partial_gptbot · Zugriff der KI-Crawler · Hinweis

Was sie auslöst

robots.txt erlaubt GPTBot nicht, Ihre Startseite abzurufen, lässt ihm aber einige andere Pfade offen; der Befund nennt die ersten drei.

Was zu ändern ist

Entfernen Sie die Regel Disallow: / für GPTBot in robots.txt oder ergänzen Sie Allow-Regeln für die weiteren Pfade, die gelesen werden sollen.

Beispiel

Zeilen in der robots.txt, die GPTBot erlauben:

User-agent: GPTBot
Allow: /

Wie häufig es vorkommt

Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.

Zu dieser Prüfung

Prüfungs-ID	`robots_partial_gptbot`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Hinweis
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode