KI-Crawler / KI-Crawler

Diffbot: Aufgabe und Wirkung einer Sperre

Von der CitedBy-Redaktion · Geprüft am 2026-10-24 · Methode (EN)

Was Diffbot ist

Diffbot dokumentiert zwei User-Agents. Diffbot dient dem allgemeinen, proaktiven Crawlen des Webs zum Aufbau einer allgemeinen Suchmaschine, damit Websites aus dem Diffbot Knowledge Graph und den Websuchdiensten gefunden und zitiert werden können. Diffbot-User dient Anfragen im Auftrag eines Menschen, der mit Diffbot-Software eine URL aufruft.

Was der Betreiber sagt

Die Worte des Betreibers (englisches Original): “By default Diffbot's web crawls adhere to a site’s robots.txt instructions, including the disallow and crawl-delay directives.”

Quelle: Diffbot: Does Diffbot respect robots.txt?, gelesen am 24. Oktober 2026.

Was passiert, wenn Sie Diffbot sperren

Diffbot sagt, seine Web-Crawls folgen standardmäßig robots.txt, einschließlich disallow und crawl-delay, und eine Regel könne in bestimmten Fällen überschrieben werden, etwa bei einer Partnerschaft oder Vereinbarung mit der Website. Diffbot und Diffbot-User nennt es als getrennte User-Agents. Nutzer seiner Extract- und Crawlbot-APIs legen laut Diffbot ihre eigenen Crawl-Parameter fest und können ihren eigenen User-Agent setzen.

Die robots.txt-Zeilen

So erlauben Sie Diffbot:

User-agent: Diffbot
Allow: /

So sperren Sie Diffbot:

User-agent: Diffbot
Disallow: /

Fügen Sie einen Block in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt. Eine Gruppe für ein Token gilt nicht für die anderen Crawler desselben Betreibers.

Der User-Agent-String laut Betreiber:

Diffbot

Woran Sie eine echte von einer gefälschten Anfrage unterscheiden

Die Anbieterseite beschreibt weder eine IP-Liste noch ein Verifizierungsverfahren.

Vergleich mit Bingbot

Bingbot: Der Betreiber beschreibt Diffbot als ähnlich wie Googlebot und Bing, als allgemeinen Crawler für einen Suchindex, und sagt, er werde nicht für KI-Training verwendet.

Ihre eigene Website

Der kostenlose Check im Kasten oben testet acht Crawler (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot und Googlebot). Diffbot gehört nicht dazu: Lesen Sie Ihre robots.txt auf eine Gruppe Diffbot und suchen Sie den User-Agent in Ihrem Server-Log. Die vollständige Liste der Crawler steht im KI-Crawler-Verzeichnis.

Häufige Fragen

Befolgt Diffbot die robots.txt?

Ja, standardmäßig (Anweisungen disallow und crawl-delay). Geben Sie Diffbot in der robots.txt eine eigene User-agent-Gruppe: Die anderen Crawler desselben Betreibers haben jeweils eigene Einstellungen.

Woher weiß ich, dass Diffbot wirklich gesperrt ist?

Die robots.txt ist nur eine Ebene: Auch eine CDN- oder Firewall-Regel kann einen Crawler abweisen, und ein Crawler kann die Datei ignorieren. Suchen Sie den User-Agent in Ihrem Server-Log und testen Sie die Adresse von außerhalb Ihres Netzes.

Quellen

• Diffbot: Does Diffbot respect robots.txt? (read 2026-10-24)