KI-Crawler-Zugriff für otto.de
Alle 8 Crawler können otto.de lesen: robots.txt lässt sie zu und der Server hat jede Testanfrage beantwortet.
| Crawler | Zweck | robots.txt | Echte Anfrage |
|---|---|---|---|
| GPTBot | Modelltraining | Erlaubt · 5 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| OAI-SearchBot | Suche und Zitate | Erlaubt · 5 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| ChatGPT-User | Seite für eine Person abgerufen | Erlaubt · 5 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| PerplexityBot | Suche und Zitate | Erlaubt · 5 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| ClaudeBot | Modelltraining | Erlaubt · 4 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| Google-Extended | Modelltraining | Erlaubt · 4 Pfadregeln schränken diesen Crawler ein | Keine Anfrage (nur robots.txt-Schalter) |
| Bingbot | Suche und Zitate | Erlaubt · 5 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| Googlebot | Suche und Zitate | Erlaubt · 4 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
Die genaue Korrektur
Beim Crawler-Zugriff ist nichts zu korrigieren.
Als Nächstes: der Rest der Website
Dieses Tool liest eine Seite und zwei Dateien. Der kostenlose Check durchsucht eine Stichprobe Ihrer Seiten und listet alles auf, was Suchmaschinen und Assistenten am Lesen von otto.de hindert, mit der genauen Korrektur je Punkt.
Kostenlosen Check für otto.de starten
Wer ist wer
ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.
Ein Hinweis für deutsche Websites
Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.