KI-Crawler-Zugriff für bol.com

Crawler, die entscheiden, ob Assistenten bol.com zitieren können, sind gesperrt: OAI-SearchBot, ChatGPT-User, PerplexityBot, Bingbot, Googlebot. Nur Trainings-Crawler gesperrt: GPTBot, ClaudeBot. Das ist eine legitime Entscheidung und entfernt bol.com nicht aus Antworten.

Crawler	Zweck	robots.txt	Echte Anfrage
GPTBot	Modelltraining	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 403: abgewiesen oder Prüfseite
OAI-SearchBot	Suche und Zitate	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 403: abgewiesen oder Prüfseite
ChatGPT-User	Seite für eine Person abgerufen	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 403: abgewiesen oder Prüfseite
PerplexityBot	Suche und Zitate	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 403: abgewiesen oder Prüfseite
ClaudeBot	Modelltraining	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 404
Google-Extended	Modelltraining	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Keine Anfrage (nur robots.txt-Schalter)
Bingbot	Suche und Zitate	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 403: abgewiesen oder Prüfseite
Googlebot	Suche und Zitate	Erlaubt · 55 Pfadregeln schränken diesen Crawler ein	Antwort 403: abgewiesen oder Prüfseite

robots.txt gefunden und gelesen.

Unser eigener CitedBot erhielt auf der Startseite ebenfalls 403, die Sperre gilt also nicht nur KI-Crawlern.

Googlebot, Bingbot und die Crawler von OpenAI werden zusätzlich per IP-Adresse geprüft. Eine Abweisung ihres Strings von unserer Adresse kann eine Website sein, die sich vor Fälschungen schützt; ist der echte Crawler gesperrt, zeigen es Google Search Console und Bing Webmaster Tools.

Die genaue Korrektur

Ihr Server hat GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Bingbot, Googlebot abgewiesen, wenn der User-Agent der des Crawlers war. Suchen Sie die verantwortliche Regel (Bot-Schutz von CDN oder Firewall, Sicherheits-Plugin, User-Agent-Regel auf dem Server) und lassen Sie diese Strings durch.

Als Nächstes: der Rest der Website

Dieses Tool liest eine Seite und zwei Dateien. Der kostenlose Check durchsucht eine Stichprobe Ihrer Seiten und listet alles auf, was Suchmaschinen und Assistenten am Lesen von bol.com hindert, mit der genauen Korrektur je Punkt.

Kostenlosen Check für bol.com starten

Methode: robots.txt nach RFC 9309 gelesen; ein GET von https://bol.com/ je Crawler-String, vom Server von CitedBy aus (echte Crawler kommen aus eigenen Adressbereichen). Unser eigener Crawler ist CitedBot/1.0. Geprüft am 2026-10-21 (UTC).

Wer ist wer

ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.

Ein Hinweis für deutsche Websites

Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.

Ein echtes Ergebnis ansehen

Ebenfalls kostenlos: llms.txt-Checker