Ratgeber / Crawler-Zugang

Kann ChatGPT meine Website lesen? Drei Bedingungen und wie Sie sie prüfen

Von der CitedBy-Redaktion · Geprüft am 2026-10-20

Welche drei Tore müssen offen sein?

ChatGPT nutzt für seine Suche einen Crawler namens OAI-SearchBot. Daneben betreibt OpenAI den GPTBot, der Trainingsdaten sammelt, und ChatGPT-User, der eine Seite abruft, wenn eine Person danach fragt. Laut OpenAI lässt sich jeder davon in der robots.txt einzeln steuern. Sie können also einen erlauben und einen anderen sperren (OpenAI-Dokumentation zu Crawlern).

Daraus ergeben sich drei Tore: Die robots.txt muss den Crawler zulassen, der Server muss ihm antworten, und auf der Seite muss lesbarer Text stehen. Das Audit testet das erste und das dritte Tor. Das zweite sehen nur Ihre Server-Logs.

Wie prüfen Sie das Schritt für Schritt?

1. robots.txt ansehen: Öffnen Sie ihr-shop.de/robots.txt im Browser. Suchen Sie nach User-agent: OAI-SearchBot, GPTBot oder *, gefolgt von Disallow: /. Ein pauschales Disallow: / unter User-agent: * sperrt jeden Crawler, der keine eigene Regel hat.
2. Audit starten: Das Audit (ab 9 €) liest die robots.txt für OAI-SearchBot, GPTBot, PerplexityBot, Google-Extended und Bingbot und nennt die gesperrten.
3. Wortzahl lesen: Achten Sie auf die gemeldete Wortzahl im HTML. Ihre Startseite sollte dort mehrere hundert Wörter haben, darunter Ihren Shopnamen und was Sie verkaufen.
4. Quelltext durchsuchen: Öffnen Sie die Seite, wählen Sie "Seitenquelltext anzeigen" und suchen Sie nach Ihrem Produktnamen. Fehlt er, baut die Seite ihren Text per JavaScript auf. Ein Crawler ohne Skriptausführung sieht dann nichts.
5. Organisationsdaten prüfen: Stellen Sie sicher, dass Organization-Daten (JSON-LD) vorhanden sind. So finden Assistenten Name, Logo und Kontaktdaten an einer Stelle.

Wie sieht eine leere Seite für einen Crawler aus?

Manche Shop-Themes und Baukästen liefern eine fast leere Seite aus und füllen sie erst per JavaScript. Ein Kunde sieht eine vollständige Produktseite. Ein Crawler, der kein JavaScript ausführt, bekommt nur ein leeres Gerüst: ein leeres div und ein Skript-Tag.

Manche Assistenten führen JavaScript aus, andere nicht. Sicher ist nur, wenn Ihr Markenname und Ihre Produkttexte im HTML selbst stehen. Das gilt besonders für Preis, Versandkosten und Lieferzeit, die in vielen Shop-Themes erst nachgeladen werden.

Was heißt das für Shops mit Baukasten oder Theme?

Wer einen Baukasten oder ein fertiges Theme nutzt, sieht den Quelltext selten und verlässt sich darauf, dass die Standardeinstellungen passen. Das ist meist in Ordnung, aber nicht garantiert. Prüfen Sie deshalb einmal selbst, was Ihr Shop ausliefert: die robots.txt, den Text im Quelltext einer Produktseite und die Organization-Daten. Wie das in einzelnen Shopsystemen aussieht, steht im Ratgeber KI-Sichtbarkeit für Shopify, WooCommerce und andere Shopsysteme.

Wiederholen Sie die Prüfung nach jedem Theme-Wechsel und nach größeren Plugin-Updates, denn dabei ändern sich Einstellungen und Ausgaben gern unbemerkt.

Welches Tor kann das Audit nicht sehen?

Die robots.txt ist eine Bitte, durchgesetzt wird auf Ihrem Hosting. Eine Firewall- oder CDN-Einstellung kann einem Crawler mit einem Fehler antworten, obwohl die robots.txt ihn erlaubt. Das testet das Audit nicht. Suchen Sie in Ihren Server- oder CDN-Logs nach Anfragen von OAI-SearchBot und sehen Sie nach, welche Statuscodes zurückkamen. Viele 403-Antworten sind das Zeichen. Wie Sie das genau prüfen, steht im Beitrag Ist GPTBot auf meiner Website blockiert?.

Was machen Sie mit dem Ergebnis?

Für die zweite Frage hilft die Methode aus Was sagt ChatGPT über Ihre Marke? 20 Prompts.

Häufige Fragen

Ist GPTBot dasselbe wie die ChatGPT-Suche?

Nein. GPTBot sammelt Daten, die zum Training von Modellen verwendet werden können. OAI-SearchBot ist der Crawler für die ChatGPT-Suchergebnisse. Sie können GPTBot sperren und OAI-SearchBot trotzdem erlauben.

Erwähnt ChatGPT meinen Shop nicht mehr, wenn ich GPTBot sperre?

Nicht von allein. Die Suchergebnisse hängen an OAI-SearchBot. Nur GPTBot zu sperren ist eine verbreitete Entscheidung bei Shops, die nicht wollen, dass ihre Inhalte für das Training genutzt werden.

Behebt eine llms.txt das Problem?

Sie ist optional. Wir erwarten nicht, dass sie ändert, was Assistenten antworten, und das Audit führt sie als optional. Mehr dazu in Bringt llms.txt etwas?.

Wie lange dauert es, bis eine Änderung sichtbar wird?

OpenAI nennt etwa 24 Stunden, bis sich seine Systeme nach einer Änderung der robots.txt angepasst haben.

Quellen

• OpenAI: Crawler und User-Agents
• CitedBy Website-Audit