Accès des robots IA pour theguardian.com
Des robots qui décident si les assistants peuvent citer theguardian.com sont bloqués : PerplexityBot. Robots d'entraînement seuls bloqués : ClaudeBot. C'est un choix légitime, qui ne retire pas theguardian.com des réponses.
| Robot | Sert à | robots.txt | Requête réelle |
|---|---|---|---|
| GPTBot | Entraînement de modèles | Autorisé · 48 règles de chemin limitent ce robot | Réponse 200 |
| OAI-SearchBot | Recherche et citations | Autorisé · 48 règles de chemin limitent ce robot | Réponse 200 |
| ChatGPT-User | Page chargée pour une personne | Autorisé · 48 règles de chemin limitent ce robot | Réponse 200 |
| PerplexityBot | Recherche et citations | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| ClaudeBot | Entraînement de modèles | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| Google-Extended | Entraînement de modèles | Autorisé · 48 règles de chemin limitent ce robot | Pas de requête (interrupteur robots.txt seul) |
| Bingbot | Recherche et citations | Autorisé · 48 règles de chemin limitent ce robot | Réponse 200 |
| Googlebot | Recherche et citations | Autorisé · 48 règles de chemin limitent ce robot | Réponse 200 |
La correction exacte
Modifiez robots.txt : sous User-agent: PerplexityBot, supprimez cette ligne :
Disallow: /
Modifiez robots.txt : sous User-agent: ClaudeBot, supprimez cette ligne :
Disallow: /
Votre serveur a répondu par un refus à PerplexityBot, ClaudeBot quand le user-agent était celui de ce robot. Trouvez la règle responsable (protection anti-bots du CDN ou du pare-feu, extension de sécurité, règle user-agent du serveur) et laissez passer ces chaînes.
Ensuite : le reste du site
Cet outil lit une page et deux fichiers. Le contrôle gratuit explore un échantillon de pages et liste tout ce qui empêche les moteurs de recherche et les assistants de lire theguardian.com, avec la correction exacte pour chaque point.
Lancer le contrôle gratuit de theguardian.com
Qui est qui
ChatGPT, Gemini, Copilot, Perplexity et Le Chat de Mistral répondent aux questions de vos acheteurs avec des robots différents. Les robots de recherche (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) décident si vous pouvez être cité. ChatGPT-User charge une page quand une personne la demande. Les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended) alimentent des modèles : les bloquer est un choix qui ne vous retire pas des réponses.
Un point pour les sites français
En droit français, l'exception de fouille de textes et de données (article L122-5-3 du Code de la propriété intellectuelle, issu de la directive (UE) 2019/790) ne joue pas si le titulaire s'y oppose de manière lisible par machine, par exemple dans robots.txt. Bloquer un robot d'entraînement est donc un choix légitime. Information, pas un conseil juridique.