Prüfungen / Zugriff der KI-Crawler
robots.txt blockiert GPTBot
Blockiert GPTBot, der Trainingsdaten sammelt. Ihre Seiten bleiben so aus künftigem Modelltraining heraus, nicht aber aus ChatGPT oder anderer KI-Suche.
robots_gptbot · Zugriff der KI-Crawler · Hinweis
Was sie auslöst
robots.txt erlaubt GPTBot nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.
Was zu ändern ist
Nur wenn Ihre Seiten in künftiges Modelltraining einfließen sollen: Entfernen Sie die Disallow-Regel für GPTBot. Die ChatGPT-Suche wird über OAI-SearchBot gesteuert.
Beispiel
Zeilen in der robots.txt, die GPTBot erlauben:
User-agent: GPTBot
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die GPTBot nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt GPTBot als erlaubt auf
Über GPTBot
GPTBot ist OpenAIs Crawler für das Training. Wenn Sie ihn in robots.txt per Disallow ausschließen, teilen Sie OpenAI mit, dass die Inhalte der Website nicht zum Training seiner generativen KI-Basismodelle verwendet werden sollen. Die ChatGPT-Suche steuert das nicht, denn sie nutzt OAI-SearchBot. OpenAI veröffentlicht 18 IP-Bereiche für GPTBot.
OpenAI versteht ein Disallow für GPTBot als Signal zum Training: Die Inhalte sollen nicht zum Training generativer KI-Basismodelle verwendet werden. Auf derselben Seite steht ein Beispiel für eine Website, die OAI-SearchBot erlaubt, damit sie in Suchergebnissen erscheint, und GPTBot per Disallow ausschließt. Eine Sperre hier nimmt Sie also nicht von sich aus aus den Suchantworten von ChatGPT heraus. Ob Sie sperren, ist eine geschäftliche Entscheidung; beide Wege sind legitim.
Aufgabe: Training. Beachtet robots.txt: Ja, er befolgt robots.txt.
GPTBot: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
In einer Stichprobe hat die Studie Sites, deren robots.txt GPTBot blockiert gemessen: 12 von 294 Show-HN-Sites (4 %) und 0 von 67 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | robots_gptbot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Hinweis |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt blockiert ClaudeBot
- robots.txt blockiert Google-Extended
- robots.txt hält CCBot von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält ClaudeBot von Ihrer Startseite und dem Großteil der Website fern
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode