Ist GPTBot auf Ihrer Website gesperrt?
Geben Sie Ihre Domain ein. Wir lesen robots.txt und rufen Ihre Startseite danach einmal mit dem eigenen User-Agent jedes Crawlers ab. So sehen Sie die Regel und das, was Ihr Server tatsächlich tut.
Was geprüft wird
- robots.txt: welche der 8 Crawler Ihre Datei zulässt, nach dem Standard (RFC 9309): die spezifischste Gruppe gewinnt, dann der längste Pfad.
- Eine echte Anfrage: ein GET Ihrer Startseite je Crawler, von unserer Adresse aus. Eine Firewall oder ein Bot-Filter, der 403, 429 oder eine Prüfseite liefert, zeigt sich hier auch dann, wenn robots.txt Ja sagt.
- Google-Extended ist nur ein Schalter in robots.txt (unter diesem Namen ruft kein Crawler Seiten ab) und wird deshalb allein aus robots.txt gelesen.
Wer ist wer
ChatGPT, Gemini, Copilot, Perplexity und Claude beantworten Käuferfragen mit verschiedenen Crawlern. Such-Crawler (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) entscheiden, ob Sie zitiert werden können. ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended) speisen Modelle; sie zu sperren ist eine Entscheidung, die Sie nicht aus Antworten entfernt.
Ein Hinweis für deutsche Websites
Nach § 44b UrhG (Umsetzung von Art. 4 der Richtlinie (EU) 2019/790) ist Text und Data Mining zulässig, solange sich der Rechtsinhaber die Nutzung nicht in maschinenlesbarer Form vorbehalten hat, etwa in robots.txt. Einen Trainings-Crawler zu sperren ist daher eine legitime Entscheidung. Information, keine Rechtsberatung.
Ein echtes Ergebnis ansehen
Ergebnisse für öffentliche Websites, die nicht uns gehören: