Quels robots IA les sites de vos clients bloquent-ils ?
Collez jusqu'à 25 domaines, un par ligne. Pour chaque site, nous lisons son robots.txt comme le fait un robot et montrons lesquels des 14 robots IA il laisse entrer, dans un tableau exportable en CSV. Gratuit, sans compte.
Ce que vous obtenez
- Une ligne par site : robots.txt trouvé ou non, quels robots d'entraînement il bloque (GPTBot, ClaudeBot, Google-Extended, CCBot) et quels robots de recherche des moteurs de réponse (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
- La part de votre liste qui bloque chaque type, à côté de la même part parmi les sites européens populaires de notre Index hebdomadaire.
- Un CSV dans les colonnes de l'Index, une ligne par site, pour votre propre rapport.
Comment la liste est lue
Chaque robots.txt est demandé en https, puis en https avec www, puis en http, et lu selon la RFC 9309 : le groupe qui nomme le robot l'emporte, sinon le groupe *; la règle la plus longue qui correspond l'emporte. « Bloque » signifie que le robot ne peut pas lire la page d'accueil. C'est ce que chaque site demande ; le contrôle d'un seul site teste aussi ce que son serveur répond à chaque robot.
Pour qui
Pour les agences et consultants qui doivent dire à un client en une ligne si GPTBot, ClaudeBot ou PerplexityBot peuvent lire son site, et quels clients appeler en premier.