Accès des robots IA pour nytimes.com
Des robots qui décident si les assistants peuvent citer nytimes.com sont bloqués : OAI-SearchBot, ChatGPT-User, PerplexityBot, Bingbot, Googlebot. Robots d'entraînement seuls bloqués : GPTBot, ClaudeBot, Google-Extended. C'est un choix légitime, qui ne retire pas nytimes.com des réponses.
| Robot | Sert à | robots.txt | Requête réelle |
|---|---|---|---|
| GPTBot | Entraînement de modèles | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| OAI-SearchBot | Recherche et citations | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| ChatGPT-User | Page chargée pour une personne | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| PerplexityBot | Recherche et citations | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| ClaudeBot | Entraînement de modèles | Bloqué par Disallow: / | Réponse 403 : refusé ou page de contrôle |
| Google-Extended | Entraînement de modèles | Bloqué par Disallow: / | Pas de requête (interrupteur robots.txt seul) |
| Bingbot | Recherche et citations | Autorisé · 86 règles de chemin limitent ce robot | Réponse 403 : refusé ou page de contrôle |
| Googlebot | Recherche et citations | Autorisé · 93 règles de chemin limitent ce robot | Réponse 403 : refusé ou page de contrôle |
La correction exacte
Modifiez robots.txt : sous User-agent: GPTBot, supprimez cette ligne :
Disallow: /
Modifiez robots.txt : sous User-agent: OAI-SearchBot, supprimez cette ligne :
Disallow: /
Modifiez robots.txt : sous User-agent: ChatGPT-User, supprimez cette ligne :
Disallow: /
Modifiez robots.txt : sous User-agent: PerplexityBot, supprimez cette ligne :
Disallow: /
Modifiez robots.txt : sous User-agent: ClaudeBot, supprimez cette ligne :
Disallow: /
Modifiez robots.txt : sous User-agent: Google-Extended, supprimez cette ligne :
Disallow: /
Votre serveur a répondu par un refus à GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Bingbot, Googlebot quand le user-agent était celui de ce robot. Trouvez la règle responsable (protection anti-bots du CDN ou du pare-feu, extension de sécurité, règle user-agent du serveur) et laissez passer ces chaînes.
Ensuite : le reste du site
Cet outil lit une page et deux fichiers. Le contrôle gratuit explore un échantillon de pages et liste tout ce qui empêche les moteurs de recherche et les assistants de lire nytimes.com, avec la correction exacte pour chaque point.
Lancer le contrôle gratuit de nytimes.com
Qui est qui
ChatGPT, Gemini, Copilot, Perplexity et Le Chat de Mistral répondent aux questions de vos acheteurs avec des robots différents. Les robots de recherche (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) décident si vous pouvez être cité. ChatGPT-User charge une page quand une personne la demande. Les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended) alimentent des modèles : les bloquer est un choix qui ne vous retire pas des réponses.
Un point pour les sites français
En droit français, l'exception de fouille de textes et de données (article L122-5-3 du Code de la propriété intellectuelle, issu de la directive (UE) 2019/790) ne joue pas si le titulaire s'y oppose de manière lisible par machine, par exemple dans robots.txt. Bloquer un robot d'entraînement est donc un choix légitime. Information, pas un conseil juridique.