KI-Crawler-Zugriff für elpais.com
Crawler, die entscheiden, ob Assistenten elpais.com zitieren können, sind gesperrt: PerplexityBot, Bingbot. Nur Trainings-Crawler gesperrt: ClaudeBot. Das ist eine legitime Entscheidung und entfernt elpais.com nicht aus Antworten.
| Crawler | Zweck | robots.txt | Echte Anfrage |
|---|---|---|---|
| GPTBot | Modelltraining | Erlaubt · 16 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| OAI-SearchBot | Suche und Zitate | Erlaubt · 16 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| ChatGPT-User | Seite für eine Person abgerufen | Erlaubt · 16 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
| PerplexityBot | Suche und Zitate | Gesperrt durch Disallow: / | Antwort 200 |
| ClaudeBot | Modelltraining | Gesperrt durch Disallow: / | Antwort 200 |
| Google-Extended | Modelltraining | Erlaubt · 16 Pfadregeln schränken diesen Crawler ein | Keine Anfrage (nur robots.txt-Schalter) |
| Bingbot | Suche und Zitate | Erlaubt · 16 Pfadregeln schränken diesen Crawler ein | Antwort 403: abgewiesen oder Prüfseite |
| Googlebot | Suche und Zitate | Erlaubt · 16 Pfadregeln schränken diesen Crawler ein | Antwort 200 |
Die genaue Korrektur
robots.txt ändern: Entfernen Sie unter User-agent: PerplexityBot diese Zeile:
Disallow: /
robots.txt ändern: Entfernen Sie unter User-agent: ClaudeBot diese Zeile:
Disallow: /
Ihr Server hat Bingbot abgewiesen, wenn der User-Agent der des Crawlers war. Suchen Sie die verantwortliche Regel (Bot-Schutz von CDN oder Firewall, Sicherheits-Plugin, User-Agent-Regel auf dem Server) und lassen Sie diese Strings durch.
Als Nächstes: der Rest der Website
Dieses Tool liest eine Seite und zwei Dateien. Der kostenlose Check durchsucht eine Stichprobe Ihrer Seiten und listet alles auf, was Suchmaschinen und Assistenten am Lesen von elpais.com hindert, mit der genauen Korrektur je Punkt.
Kostenlosen Check für elpais.com starten
Wer ist wer
ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.
Ein Hinweis für deutsche Websites
Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.