KI-Crawler-Zugriff für cdiscount.com
Alle 8 Crawler können cdiscount.com lesen: robots.txt lässt sie zu und der Server hat jede Testanfrage beantwortet.
| Crawler | Zweck | robots.txt | Echte Anfrage |
|---|---|---|---|
| GPTBot | Modelltraining | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| OAI-SearchBot | Suche und Zitate | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| ChatGPT-User | Seite für eine Person abgerufen | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| PerplexityBot | Suche und Zitate | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| ClaudeBot | Modelltraining | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| Google-Extended | Modelltraining | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Keine Anfrage (nur robots.txt-Schalter) |
| Bingbot | Suche und Zitate | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| Googlebot | Suche und Zitate | Erlaubt · 244 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
Die genaue Korrektur
Beim Crawler-Zugriff ist nichts zu korrigieren.
Als Nächstes: der Rest der Website
Dieses Tool liest eine Seite und zwei Dateien. Der kostenlose Check durchsucht eine Stichprobe Ihrer Seiten und listet alles auf, was Suchmaschinen und Assistenten am Lesen von cdiscount.com hindert, mit der genauen Korrektur je Punkt.
Kostenlosen Check für cdiscount.com starten
Wer ist wer
ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.
Ein Hinweis für deutsche Websites
Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.