KI-Crawler: wer sie sind, was sie tun, wie Sie sie erlauben oder sperren
Eine Seite pro Crawler mit Betreiber, robots.txt-Token, dem Satz des Betreibers selbst, den Folgen einer Sperre und der Prüfung einer Anfrage, jeweils am angegebenen Datum auf der Seite des Betreibers gelesen.
Ein KI-Crawler ist ein Bot, der Seiten für einen Assistenten wie ChatGPT, Claude, Perplexity oder Gemini abruft, für einen Suchindex oder für das Training von Modellen. Jede Seite nennt Betreiber, robots.txt-Token, was eine Sperre ändert und wie Sie eine Anfrage prüfen, damit Sie pro Bot entscheiden können.
| Crawler | Betreiber | Aufgabe | Befolgt robots.txt |
|---|---|---|---|
| Amazonbot | Amazon | Produktverbesserung, kann KI-Modelle von Amazon trainieren | Ja, Änderungen brauchen etwa 24 Stunden |
| Amzn-SearchBot | Amazon | Suche | Ja, Änderungen können etwa 24 Stunden dauern |
| Amzn-User | Amazon | Vom Nutzer ausgelöster Abruf | Teilweise, befolgt möglicherweise nicht alle robots.txt-Anweisungen, weil Aktionen vom Nutzer ausgehen können |
| Applebot | Apple | Suche (gecrawlte Daten können auch beim Training von Apple-Modellen helfen) | Ja, für allgemeine Suchcrawls, die an Applebot gerichtet sind |
| Applebot-Extended | Apple | Steuer-Token (stellt keine eigenen Anfragen) | Wird nur aus robots.txt gelesen |
| Baiduspider | Baidu | Suche | Ja bei Baiduspider; Baiduspider-cpro und Baiduspider-ads befolgen keine robots.txt-Einträge |
| Bingbot | Microsoft | Such-Crawler | Ja |
| CCBot | Common Crawl | Offenes Web-Crawl-Archiv | Ja, über eine robots.txt-Regel für CCBot |
| ChatGPT-User | OpenAI | Vom Nutzer ausgelöster Abruf | robots.txt-Regeln gelten möglicherweise nicht |
| Claude-SearchBot | Anthropic | Suche | Ja, laut Anthropic beachten seine Bots robots.txt |
| Claude-User | Anthropic | Vom Nutzer ausgelöster Abruf | Ja, laut Anthropic beachten seine Bots robots.txt |
| ClaudeBot | Anthropic | Training | Ja, er befolgt robots.txt und Crawl-delay |
| Diffbot | Diffbot | Suche (allgemeiner Web-Crawl) | Ja, standardmäßig (Anweisungen disallow und crawl-delay) |
| DuckAssistBot | DuckDuckGo | Echtzeit-Abruf für KI-gestützte Antworten | Ja, eine Änderung wirkt nach 72 Stunden |
| DuckDuckBot | DuckDuckGo | Suche | Ja, respektiert WWW::RobotRules (keine Angabe zur Zeitdauer veröffentlicht) |
| ExaSearchBot | Exa | Index für Suche und Retrieval | Ja, laut Anbieter prüft er robots.txt vor dem Abruf |
| ExaUser | Exa | Vom Nutzer ausgelöster Abruf | Teilweise, laut Anbieter gelten robots.txt-Regeln für vom Nutzer ausgelöste Abrufe möglicherweise nicht |
| Google-Agent | Vom Nutzer ausgelöster Abruf (Agenten, die für einen Nutzer handeln) | Teilweise. Google sagt, vom Nutzer ausgelöste Fetcher ignorieren robots.txt-Regeln in der Regel, weil ein Nutzer den Abruf angefordert hat. | |
| Google-CloudVertexBot | Von Website-Betreibern angeforderter Crawl für Vertex AI Agents | Ja. Google sagt, gängige Crawler befolgen beim automatischen Crawlen immer robots.txt-Regeln. | |
| Google-Extended | Steuer-Token (stellt keine eigenen Anfragen) | Wird nur aus robots.txt gelesen; es gibt keinen eigenen User-Agent | |
| Google-GeminiNotebook | Vom Nutzer ausgelöster Abruf | Teilweise. Google sagt, vom Nutzer ausgelöste Fetcher ignorieren robots.txt-Regeln in der Regel, weil ein Nutzer den Abruf angefordert hat. | |
| Google-Pinpoint | Vom Nutzer ausgelöster Abruf | Teilweise. Google sagt, vom Nutzer ausgelöste Fetcher ignorieren robots.txt-Regeln in der Regel, weil ein Nutzer den Abruf angefordert hat. | |
| Googlebot | Suche (auch Bilder, Video, News, Discover) | Ja, beim automatischen Crawlen immer | |
| GoogleOther | Generischer Crawl für verschiedene Google-Produktteams | Ja. Google sagt, gängige Crawler befolgen beim automatischen Crawlen immer robots.txt-Regeln. | |
| GPTBot | OpenAI | Training | Ja, er befolgt robots.txt |
| ICC-Crawler | NICT (Universal Communication Research Institute) | Datensammlung für die Forschung (auch KI-Forschung und -Entwicklung) | Ja, und bei einem Crawl-Delay nutzt er den größeren Wert aus diesem Intervall und seinem eigenen Minimum |
| ImagesiftBot | Hive (ImageSift) | Bildindex für die Suche nach ähnlichen Bildern | Ja, und er unterstützt Crawl-delay |
| Kagibot | Kagi | Suche | Ja, Standard-robots.txt-Anweisungen, die Kagibot betreffen, werden respektiert |
| LinkupBot | Linkup | Suchindex für KI-Websuche | Ja, laut Anbieter respektiert er die geltenden robots.txt-Regeln |
| Meta-ExternalAgent | Meta | Training von KI-Modellen und Indexieren von Inhalten | Ja |
| Meta-ExternalFetcher | Meta | Vom Nutzer ausgelöster Abruf | Teilweise, kann robots.txt umgehen, weil die Abrufe von einem Nutzer angefordert werden |
| Meta-WebIndexer | Meta | Suche | Ja, Änderungen können bis zu 24 Stunden dauern |
| MistralAI-User | Mistral | Vom Nutzer ausgelöster Abruf | Opt-out über robots.txt |
| MojeekBot | Mojeek | Suche | Ja, befolgt den Robots Exclusion Standard; crawl-delay wird nicht unterstützt |
| OAI-SearchBot | OpenAI | Suche | Ja, er befolgt robots.txt |
| Perplexity-User | Perplexity | Vom Nutzer ausgelöster Abruf | Ignoriert robots.txt-Regeln in der Regel, weil ein Nutzer den Abruf angefordert hat |
| PerplexityBot | Perplexity | Suche | Ja, er befolgt robots.txt |
| Storebot-Google | Suche (Oberflächen von Google Shopping) | Ja. Google sagt, gängige Crawler befolgen beim automatischen Crawlen immer robots.txt-Regeln. | |
| YandexBot | Yandex | Suche (wichtigster Indexierungsroboter) | Ja, berücksichtigt die allgemeinen Regeln in robots.txt (User-agent: *) |
| YouBot | You.com | Suche | Ja, robots.txt wird 30 Minuten zwischengespeichert, Änderungen können also bis zu 30 Minuten dauern |
robots.txt zum Kopieren: Modelltraining ablehnen, in der KI-Suche bleiben
Betreiber, die sagen, ihr Crawler könne zum Training von Modellen genutzt werden: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot. Der erste Block schaltet sie ab. Der zweite lässt die Such- und Antwort-Crawler zu: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, Meta-WebIndexer. Das ist eine Entscheidung für Ihr Geschäft, und ein Disallow gilt nur für Bots, die sich daran halten.
Training ablehnen
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /In der KI-Suche bleiben
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Meta-WebIndexer
Allow: /- Amazonbot: Aufgabe und Wirkung einer SperreAmazonbot (Amazon): Mehrere Aufgaben. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Amzn-SearchBot: Aufgabe und Wirkung einer SperreAmzn-SearchBot (Amazon): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Amzn-User: Aufgabe und Wirkung einer SperreAmzn-User (Amazon): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Applebot-Extended: Aufgabe und Wirkung einer SperreApplebot-Extended (Apple): Steuer-Token. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Applebot: Aufgabe und Wirkung einer SperreApplebot (Apple): Mehrere Aufgaben. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Baiduspider: Aufgabe und Wirkung einer SperreBaiduspider (Baidu): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Bingbot: Aufgabe und Wirkung einer SperreBingbot (Microsoft): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- CCBot: Aufgabe und Wirkung einer SperreCCBot (Common Crawl): Mehrere Aufgaben. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- ChatGPT-User: Aufgabe und Wirkung einer SperreChatGPT-User (OpenAI): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Claude-SearchBot: Aufgabe und Wirkung einer SperreClaude-SearchBot (Anthropic): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Claude-User: Aufgabe und Wirkung einer SperreClaude-User (Anthropic): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- ClaudeBot: Aufgabe und Wirkung einer SperreClaudeBot (Anthropic): Training. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Diffbot: Aufgabe und Wirkung einer SperreDiffbot (Diffbot): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- DuckAssistBot: Aufgabe und Wirkung einer SperreDuckAssistBot (DuckDuckGo): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- DuckDuckBot: Aufgabe und Wirkung einer SperreDuckDuckBot (DuckDuckGo): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- ExaSearchBot: Aufgabe und Wirkung einer SperreExaSearchBot (Exa): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- ExaUser: Aufgabe und Wirkung einer SperreExaUser (Exa): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Google-Agent: Aufgabe und Wirkung einer SperreGoogle-Agent (Google): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Google-CloudVertexBot: Aufgabe und Wirkung einer SperreGoogle-CloudVertexBot (Google): Mehrere Aufgaben. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Google-Extended: Aufgabe und Wirkung einer SperreGoogle-Extended (Google): Steuer-Token. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Google-GeminiNotebook: Aufgabe und Wirkung einer SperreGoogle-GeminiNotebook (Google): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- Google-Pinpoint: Aufgabe und Wirkung einer SperreGoogle-Pinpoint (Google): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- Googlebot: Aufgabe und Wirkung einer SperreGooglebot (Google): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- GoogleOther: Aufgabe und Wirkung einer SperreGoogleOther (Google): Mehrere Aufgaben. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- GPTBot: Aufgabe und Wirkung einer SperreGPTBot (OpenAI): Training. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- ICC-Crawler: Aufgabe und Wirkung einer SperreICC-Crawler (NICT (Universal Communication Research Institute)): Training. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- ImagesiftBot: Aufgabe und Wirkung einer SperreImagesiftBot (Hive (ImageSift)): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Kagibot: Aufgabe und Wirkung einer SperreKagibot (Kagi): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- LinkupBot: Aufgabe und Wirkung einer SperreLinkupBot (Linkup): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Meta-ExternalAgent: Aufgabe und Wirkung einer SperreMeta-ExternalAgent (Meta): Mehrere Aufgaben. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Meta-ExternalFetcher: Aufgabe und Wirkung einer SperreMeta-ExternalFetcher (Meta): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- Meta-WebIndexer: Aufgabe und Wirkung einer SperreMeta-WebIndexer (Meta): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- MistralAI-User: Aufgabe und Wirkung einer SperreMistralAI-User (Mistral): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- MojeekBot: Aufgabe und Wirkung einer SperreMojeekBot (Mojeek): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- OAI-SearchBot: Aufgabe und Wirkung einer SperreOAI-SearchBot (OpenAI): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Perplexity-User: Aufgabe und Wirkung einer SperrePerplexity-User (Perplexity): Vom Nutzer ausgelöster Abruf. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage.
- PerplexityBot: Aufgabe und Wirkung einer SperrePerplexityBot (Perplexity): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- Storebot-Google: Aufgabe und Wirkung einer SperreStorebot-Google (Google): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- YandexBot: Aufgabe und Wirkung einer SperreYandexBot (Yandex): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.
- YouBot: Aufgabe und Wirkung einer SperreYouBot (You.com): Suche. robots.txt-Token, Wirkung eines Disallow und Prüfung einer Anfrage, gelesen auf der Seite des Betreibers.