KI-Crawler-Zugriff für nu.nl
Crawler, die entscheiden, ob Assistenten nu.nl zitieren können, sind gesperrt: OAI-SearchBot, ChatGPT-User, PerplexityBot, Bingbot, Googlebot. Nur Trainings-Crawler gesperrt: GPTBot, ClaudeBot, Google-Extended. Das ist eine legitime Entscheidung und entfernt nu.nl nicht aus Antworten.
| Crawler | Zweck | robots.txt | Echte Anfrage |
|---|---|---|---|
| GPTBot | Modelltraining | Gesperrt durch Disallow: / | Antwort 403: abgewiesen oder Prüfseite |
| OAI-SearchBot | Suche und Zitate | Gesperrt durch Disallow: / | Antwort 403: abgewiesen oder Prüfseite |
| ChatGPT-User | Seite für eine Person abgerufen | Gesperrt durch Disallow: / | Antwort 403: abgewiesen oder Prüfseite |
| PerplexityBot | Suche und Zitate | Gesperrt durch Disallow: / | Antwort 403: abgewiesen oder Prüfseite |
| ClaudeBot | Modelltraining | Gesperrt durch Disallow: / | Antwort 403: abgewiesen oder Prüfseite |
| Google-Extended | Modelltraining | Gesperrt durch Disallow: / | Keine Anfrage (nur robots.txt-Schalter) |
| Bingbot | Suche und Zitate | Erlaubt · 6 Pfadregeln schränken diesen Crawler ein | Antwort 403: abgewiesen oder Prüfseite |
| Googlebot | Suche und Zitate | Erlaubt · 6 Pfadregeln schränken diesen Crawler ein | Antwort 403: abgewiesen oder Prüfseite |
Die genaue Korrektur
robots.txt ändern: Entfernen Sie unter User-agent: GPTBot diese Zeile:
Disallow: /
robots.txt ändern: Entfernen Sie unter User-agent: OAI-SearchBot diese Zeile:
Disallow: /
robots.txt ändern: Entfernen Sie unter User-agent: ChatGPT-User diese Zeile:
Disallow: /
robots.txt ändern: Entfernen Sie unter User-agent: PerplexityBot diese Zeile:
Disallow: /
robots.txt ändern: Entfernen Sie unter User-agent: ClaudeBot diese Zeile:
Disallow: /
robots.txt ändern: Entfernen Sie unter User-agent: Google-Extended diese Zeile:
Disallow: /
Ihr Server hat GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Bingbot, Googlebot abgewiesen, wenn der User-Agent der des Crawlers war. Suchen Sie die verantwortliche Regel (Bot-Schutz von CDN oder Firewall, Sicherheits-Plugin, User-Agent-Regel auf dem Server) und lassen Sie diese Strings durch.
Als Nächstes: der Rest der Website
Dieses Tool liest eine Seite und zwei Dateien. Der kostenlose Check durchsucht eine Stichprobe Ihrer Seiten und listet alles auf, was Suchmaschinen und Assistenten am Lesen von nu.nl hindert, mit der genauen Korrektur je Punkt.
Kostenlosen Check für nu.nl starten
Wer ist wer
ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.
Ein Hinweis für deutsche Websites
Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.