KI-Crawler-Zugriff für theguardian.com

Crawler, die entscheiden, ob Assistenten theguardian.com zitieren können, sind gesperrt: PerplexityBot. Nur Trainings-Crawler gesperrt: ClaudeBot. Das ist eine legitime Entscheidung und entfernt theguardian.com nicht aus Antworten.

Crawler	Zweck	robots.txt	Echte Anfrage
GPTBot	Modelltraining	Erlaubt · 48 Pfadregeln schränken diesen Crawler ein	Antwort 200
OAI-SearchBot	Suche und Zitate	Erlaubt · 48 Pfadregeln schränken diesen Crawler ein	Antwort 200
ChatGPT-User	Seite für eine Person abgerufen	Erlaubt · 48 Pfadregeln schränken diesen Crawler ein	Antwort 200
PerplexityBot	Suche und Zitate	Gesperrt durch Disallow: /	Antwort 403: abgewiesen oder Prüfseite
ClaudeBot	Modelltraining	Gesperrt durch Disallow: /	Antwort 403: abgewiesen oder Prüfseite
Google-Extended	Modelltraining	Erlaubt · 48 Pfadregeln schränken diesen Crawler ein	Keine Anfrage (nur robots.txt-Schalter)
Bingbot	Suche und Zitate	Erlaubt · 48 Pfadregeln schränken diesen Crawler ein	Antwort 200
Googlebot	Suche und Zitate	Erlaubt · 48 Pfadregeln schränken diesen Crawler ein	Antwort 200

robots.txt gefunden und gelesen.

Googlebot, Bingbot und die Crawler von OpenAI werden zusätzlich per IP-Adresse geprüft. Eine Abweisung ihres Strings von unserer Adresse kann eine Website sein, die sich vor Fälschungen schützt; ist der echte Crawler gesperrt, zeigen es Google Search Console und Bing Webmaster Tools.

Die genaue Korrektur

robots.txt ändern: Entfernen Sie unter User-agent: PerplexityBot diese Zeile:

Disallow: /

robots.txt ändern: Entfernen Sie unter User-agent: ClaudeBot diese Zeile:

Disallow: /

Ihr Server hat PerplexityBot, ClaudeBot abgewiesen, wenn der User-Agent der des Crawlers war. Suchen Sie die verantwortliche Regel (Bot-Schutz von CDN oder Firewall, Sicherheits-Plugin, User-Agent-Regel auf dem Server) und lassen Sie diese Strings durch.

Als Nächstes: der Rest der Website

Dieses Tool liest eine Seite und zwei Dateien. Der kostenlose Check durchsucht eine Stichprobe Ihrer Seiten und listet alles auf, was Suchmaschinen und Assistenten am Lesen von theguardian.com hindert, mit der genauen Korrektur je Punkt.

Kostenlosen Check für theguardian.com starten

Methode: robots.txt nach RFC 9309 gelesen; ein GET von https://theguardian.com/ je Crawler-String, vom Server von CitedBy aus (echte Crawler kommen aus eigenen Adressbereichen). Unser eigener Crawler ist CitedBot/1.0. Geprüft am 2026-10-21 (UTC).

Wer ist wer

ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.

Ein Hinweis für deutsche Websites

Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.

Ein echtes Ergebnis ansehen

Ebenfalls kostenlos: llms.txt-Checker