Prüfungen / Zugriff der KI-Crawler
Ihre Firewall oder Ihr CDN weist KI-Training-Crawler ab
Unsere Testanfrage mit dem User-Agent eines Training-Crawlers (GPTBot, ClaudeBot) wurde abgewiesen, während ein Browser die Seite erhielt. Ihre Seiten bleiben so aus dem Modelltraining heraus, nicht aber aus der KI-Suche.
waf_blocks_training_bots · Zugriff der KI-Crawler · Hinweis
Was sie auslöst
Eine Anfrage nach Ihrer Startseite, die GPTBot oder ClaudeBot im User-Agent nennt, bekommt etwas anderes als 200 (oder zweimal keine Antwort innerhalb von 15 Sekunden), während eine Browseranfrage 200 bekommt.
Was zu ändern ist
Erlauben Sie den verifizierten Crawler in Ihrer WAF nur, wenn Ihre Seiten in das Modelltraining einfließen sollen.
Wie häufig es vorkommt
Wir haben nicht gemessen, wie häufig das in einer Stichprobe von Sites vorkommt. Zahlen erscheinen hier, sobald eine Studie es abdeckt.
Zu dieser Prüfung
| Prüfungs-ID | waf_blocks_training_bots |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Hinweis |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Nein, die Lösung wird im Text beschrieben |
Verwandte Prüfungen
- robots.txt hält Google-Extended von Ihrer Startseite und dem Großteil der Website fern
- robots.txt hält GPTBot von Ihrer Startseite und dem Großteil der Website fern
- Website wird nicht über HTTPS ausgeliefert
- Seiten liefern einen Fehlerstatus
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode