Prüfungen / Zugriff der KI-Crawler
robots.txt blockiert OAI-SearchBot
OAI-SearchBot entscheidet, ob die ChatGPT-Suche Ihre Website anzeigen darf.
robots_oai_searchbot · Zugriff der KI-Crawler · Fehler
Was zu ändern ist
Entfernen Sie die Disallow-Regel für OAI-SearchBot in der robots.txt.
Beispiel
Zeilen in der robots.txt, die OAI-SearchBot erlauben:
User-agent: OAI-SearchBot
Allow: /Wie häufig es vorkommt
In einer Stichprobe hat die Studie Sites, deren robots.txt OAI-SearchBot blockiert gemessen: 0 von 294 Show-HN-Sites (0 %) und 0 von 67 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | robots_oai_searchbot |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Fehler |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt blockiert ChatGPT-User
- robots.txt blockiert Claude-SearchBot
- robots.txt blockiert Claude-User
- robots.txt blockiert Perplexity-User
- robots.txt blockiert PerplexityBot
- robots.txt blockiert CCBot
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode