Welche KI-Crawler sperren die Seiten Ihrer Kunden?
Fügen Sie bis zu 25 Domains ein, eine pro Zeile. Für jede Seite lesen wir die robots.txt wie ein Crawler und zeigen, welche von 14 KI-Crawlern hineindürfen, in einer Tabelle zum Download als CSV. Kostenlos, ohne Konto.
Das bekommen Sie
- Eine Zeile pro Seite: ob eine robots.txt gefunden wurde, welche Trainings-Crawler sie sperrt (GPTBot, ClaudeBot, Google-Extended, CCBot) und welche Such-Crawler von Antwortmaschinen (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
- Den Anteil Ihrer Liste, der jede Art sperrt, neben demselben Anteil bei beliebten EU-Seiten in unserem wöchentlichen AI-Access-Index.
- Eine CSV in den Spalten des Index, eine Zeile pro Seite, für Ihren eigenen Bericht.
So wird die Liste gelesen
Jede robots.txt wird über https, dann https mit www, dann http abgerufen und nach RFC 9309 gelesen: Die Gruppe, die den Crawler nennt, gilt, sonst die *-Gruppe; die längste passende Regel gewinnt. „Sperrt“ heißt, der Crawler darf die Startseite nicht abrufen. Das ist, was jede Seite verlangt; die Prüfung einer einzelnen Seite testet auch, was deren Server jedem Crawler antwortet.
Für wen
Für Agenturen und Berater, die einem Kunden in einer Zeile sagen müssen, ob GPTBot, ClaudeBot oder PerplexityBot seine Seite lesen können, und welche Kunden sie zuerst anrufen.