CitedBy / Daten / AI-Access-Referenz / Deutschland
AI-Access-Referenz · Stand 26. Oktober 2026 · erste Messung am 23. Oktober 2026 · English
Deutschland (.de): welche KI-Crawler beliebte Websites sperren
Am 26. Oktober 2026 baten 27,3 % von 462 beliebten .de-Websites GPTBot per robots.txt, draußen zu bleiben; 31,0 % (95-%-Intervall: 26,9 bis 35,3) baten mindestens einen von GPTBot, ClaudeBot, Google-Extended und CCBot darum, Rang 1 von 25 EU-Länderdomains, geordnet von der restriktivsten. 16,2 % sperrten mindestens einen Suchcrawler von KI-Antwortmaschinen, über alle 25 Länder zusammen waren es 7,7 %.
Was gemessen wird
- 31,0 % (143 von 462) sperren am 26. Oktober 2026 mindestens einen von GPTBot, ClaudeBot, Google-Extended und CCBot; am 23. Oktober 2026 waren es 31,2 %. Alle vier: 18,6 % (86).
- 27,3 % sperren GPTBot (126); 24,2 % sperren ClaudeBot, 20,8 % Google-Extended und 26,8 % CCBot.
- 16,2 % (75) sperren mindestens einen Suchcrawler von KI-Antwortmaschinen (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Googlebot als Kontrollwert: 1,3 %.
- llms.txt: 8,8 % (40 von 452, die geantwortet haben, 95-%-Intervall 6,6 bis 11,8) veröffentlichen eine gültige llms.txt, gegenüber 11,7 % aller 10.223 EU-Websites, die geantwortet haben (gelesen am 25. Oktober 2026).
Zwischen dem 23. Oktober 2026 und dem 26. Oktober 2026 haben 3 der 462 in beiden Messungen erfassten Websites die Vorgabe für mindestens einen der 14 KI-Crawler geändert (begannen zu sperren: 1; hörten auf: 2). Im Ranking direkt danach: .it (27,9 %). Alle Länder und CMS (auf Englisch).
Nach Crawler
| Crawler | Gesperrt am 23. Oktober 2026 (n 464) | Gesperrt am 26. Oktober 2026 (n 462) | 95-%-Intervall | Alle 25 Länder, 26. Oktober 2026 |
|---|---|---|---|---|
| GPTBot | 27,6 % (128) | 27,3 % (126) | 23,4 bis 31,5 | 15,5 % |
| OAI-SearchBot | 9,3 % (43) | 8,9 % (41) | 6,6 bis 11,8 | 5,4 % |
| ChatGPT-User | 13,1 % (61) | 12,8 % (59) | 10,0 bis 16,1 | 7,3 % |
| ClaudeBot | 24,6 % (114) | 24,2 % (112) | 20,6 bis 28,4 | 13,4 % |
| Claude-SearchBot | 7,8 % (36) | 7,4 % (34) | 5,3 bis 10,1 | 4,0 % |
| Claude-User | 7,3 % (34) | 6,9 % (32) | 4,9 bis 9,6 | 3,9 % |
| PerplexityBot | 15,5 % (72) | 15,2 % (70) | 12,2 bis 18,7 | 7,1 % |
| Perplexity-User | 8,6 % (40) | 8,2 % (38) | 6,1 bis 11,1 | 4,2 % |
| Google-Extended | 21,1 % (98) | 20,8 % (96) | 17,3 bis 24,7 | 11,4 % |
| Applebot-Extended | 21,8 % (101) | 21,4 % (99) | 17,9 bis 25,4 | 10,8 % |
| CCBot | 27,2 % (126) | 26,8 % (124) | 23,0 bis 31,1 | 15,3 % |
| Bytespider | 26,5 % (123) | 26,2 % (121) | 22,4 bis 30,4 | 14,4 % |
| Amazonbot | 16,6 % (77) | 16,2 % (75) | 13,2 bis 19,9 | 13,6 % |
| meta-externalagent | 21,3 % (99) | 21,0 % (97) | 17,5 bis 24,9 | 12,1 % |
| Googlebot (Kontrollwert) | 1,3 % (6) | 1,3 % (6) | 0,6 bis 2,8 | 0,8 % |
| Bingbot (Kontrollwert) | 1,9 % (9) | 1,7 % (8) | 0,9 bis 3,4 | 1,5 % |
„Sperrt“ heißt: Der Crawler darf / laut robots.txt der Website nicht abrufen. Googlebot und Bingbot sind Kontrollwerte: Websites, die KI-Crawler aussperren, sperren die normale Suche fast nie.
Methode und Grenzen
- Stichprobe: die 600 bestplatzierten Domains der Tranco-Liste unter jeder der 25 EU-Länderdomains (Luxemburg 250), Tranco-Liste 56Z8N. Jede Woche werden dieselben Websites erneut gemessen: Die Daten auf dieser Seite sind Wiederholungsmessungen einer Liste, keine neuen Stichproben.
- Was gelesen wird: die
/robots.txtjeder Website nach RFC 9309; „sperrt“ heißt: Der Crawler darf/nicht abrufen. Die Anteile beziehen sich auf die Websites, deren robots.txt lesbar war; der Rest ist Abdeckung, kein „erlaubt“. llms.txt: Die Datei unter/llms.txtist gültig, wenn sie die Formprüfung von llmstxt.org besteht (Methode). - Grenzen: Die robots.txt ist eine Bitte, keine Durchsetzung durch eine Firewall, und dieser Index misst nicht, was ein Assistent zitiert. Eine Länderdomain ist nicht das Land des Betreibers. Nur beliebte Websites: Eine Zufallsstichprobe von Hosts liefert niedrigere Werte.
- Daten: Eine Zeile je Domain, 23. Oktober 2026 · Eine Zeile je Domain, 26. Oktober 2026 · llms.txt je Domain, 25. Oktober 2026. Lizenz CC BY 4.0; zitieren als „CitedBy EU AI-Access Index, 26. Oktober 2026“.
Was sagt Ihre robots.txt den KI-Crawlern?
Der kostenlose Check zeigt, welche KI-Crawler Ihre robots.txt und Ihr Server hereinlassen, mit der genauen Korrektur. Mit dem bezahlten Audit crawlen wir Ihre Website bis zum Seitenlimit Ihres Tarifs und liefern die genaue Korrektur für jedes Problem. Ab 9 €, 14 Tage Geld-zurück-Garantie.