Prüfungen / Zugriff der KI-Crawler
robots.txt blockiert OAI-SearchBot
OAI-SearchBot entscheidet, ob die ChatGPT-Suche Ihre Website anzeigen darf.
robots_oai_searchbot · Zugriff der KI-Crawler · Fehler
Was sie auslöst
robots.txt erlaubt OAI-SearchBot nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.
Was zu ändern ist
Entfernen Sie die Disallow-Regel für OAI-SearchBot in der robots.txt.
Beispiel
Zeilen in der robots.txt, die OAI-SearchBot erlauben:
User-agent: OAI-SearchBot
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die OAI-SearchBot nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt OAI-SearchBot als erlaubt auf
Über OAI-SearchBot
OAI-SearchBot ist OpenAIs Crawler für die ChatGPT-Suche. Laut OpenAI werden Websites, die ihm per Opt-out widersprechen, in den Antworten der ChatGPT-Suche nicht angezeigt, können aber weiterhin als Navigationslinks erscheinen. Der Bot befolgt robots.txt unter dem Token OAI-SearchBot, und OpenAI veröffentlicht 39 IP-Bereiche dafür.
OpenAIs eigene Formulierung lautet, dass Websites mit Opt-out „in den Antworten der ChatGPT-Suche nicht angezeigt werden“. Das sind die Kosten: Ein Shop, der OAI-SearchBot sperrt, verzichtet auf den Teil von ChatGPT, der auf Quellen verlinkt. Für Websites, die erscheinen wollen, empfiehlt OpenAI das Gegenteil: OAI-SearchBot in robots.txt zulassen und Anfragen aus seinen veröffentlichten IP-Bereichen zulassen.
Aufgabe: Suche. Beachtet robots.txt: Ja, er befolgt robots.txt.
OAI-SearchBot: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
In einer Stichprobe hat die Studie Sites, deren robots.txt OAI-SearchBot blockiert gemessen: 0 von 294 Show-HN-Sites (0 %) und 0 von 67 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | robots_oai_searchbot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Fehler |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt blockiert Claude-SearchBot
- robots.txt blockiert Claude-User
- robots.txt hält ChatGPT-User von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält Claude-SearchBot von Ihrer Startseite und dem Großteil der Website fern
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode