Prüfungen / Zugriff der KI-Crawler
Ihre Firewall oder Ihr CDN weist KI-Such-Crawler ab
Unsere Testanfrage mit dem User-Agent eines KI-Such-Crawlers wurde abgewiesen (403, 429, Challenge-Seite oder Timeout), während ein Browser die Seite erhielt. Echte Crawler kommen eventuell trotzdem durch, wenn Ihr CDN sie per IP verifiziert. Prüfen Sie daher die Logs Ihres CDN.
waf_blocks_bots · Zugriff der KI-Crawler · Fehler
Was zu ändern ist
Erlauben Sie in Cloudflare, Akamai, Sucuri oder der WAF Ihres Hosters die verifizierten KI-Such-Crawler (OAI-SearchBot, PerplexityBot, Claude-SearchBot) oder deaktivieren Sie 'Block AI bots'.
Wie häufig es vorkommt
In einer Stichprobe hat die Studie Firewalls, die eine echte Anfrage eines Suchcrawlers auf der Startseite abweisen gemessen: 3 von 293 Show-HN-Sites (1 %) und 0 von 66 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | waf_blocks_bots |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Fehler |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Nein, die Lösung wird im Text beschrieben |
Verwandte Prüfungen
- Ihre Firewall oder Ihr CDN weist KI-Training-Crawler ab
- Website wird nicht über HTTPS ausgeliefert
- Seiten liefern einen Fehlerstatus
- robots.txt blockiert ChatGPT-User
- robots.txt blockiert Claude-SearchBot
- robots.txt blockiert Claude-User
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode