Prüfungen / Zugriff der KI-Crawler

robots.txt blockiert ChatGPT-User

ChatGPT-User ruft eine Seite ab, wenn jemand ChatGPT danach fragt. Ist er blockiert, kann ChatGPT Ihre Seiten auf Anfrage nicht öffnen.

robots_chatgpt_user · Zugriff der KI-Crawler · Fehler

Was sie auslöst

robots.txt erlaubt ChatGPT-User nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.

Was zu ändern ist

Entfernen Sie die Disallow-Regel für ChatGPT-User in der robots.txt.

Beispiel

Zeilen in der robots.txt, die ChatGPT-User erlauben:

User-agent: ChatGPT-User
Allow: /

So bestätigen Sie die Korrektur

Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die ChatGPT-User nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt ChatGPT-User als erlaubt auf

Über ChatGPT-User

ChatGPT-User besucht eine Webseite, wenn jemand ChatGPT oder einem Custom GPT eine Frage stellt, die diese Seite braucht. Laut OpenAI wird er nicht zum automatischen Crawlen genutzt, und weil ein Nutzer die Anfrage startet, gelten robots.txt-Regeln möglicherweise nicht. OpenAI nennt 234 IP-Bereiche dafür.

Weil der Besuch vom Nutzer ausgeht, warnt OpenAI, dass robots.txt-Regeln möglicherweise nicht gelten. Eine `Disallow`-Zeile für ChatGPT-User ist also eine Bitte, der vom Nutzer ausgelöste Besuche möglicherweise nicht folgen. OpenAI sagt außerdem, ChatGPT-User werde nicht verwendet, um zu entscheiden, ob Inhalte in der Suche erscheinen, und verweist für Such-Opt-outs auf OAI-SearchBot. Wenn Sie diese Anfragen stoppen müssen, geschieht das auf Ihrem Server oder CDN, nicht allein in robots.txt.

Aufgabe: Vom Nutzer ausgelöster Abruf. Beachtet robots.txt: Nicht immer. OpenAI sagt, robots.txt-Regeln gälten für ChatGPT-User möglicherweise nicht, weil seine Aktionen von einem Nutzer ausgelöst werden..

ChatGPT-User: Betreiber, User-Agent-Zeichenfolge und Adressliste

Wie häufig es vorkommt

In einer Stichprobe hat die Studie Sites, deren robots.txt ChatGPT-User blockiert gemessen: 0 von 294 Show-HN-Sites (0 %) und 0 von 67 Lovable-Sites (0 %).

Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).

Zu dieser Prüfung

Prüfungs-ID	`robots_chatgpt_user`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Fehler
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode