Acceso de rastreadores de IA a theguardian.com
Hay bloqueados rastreadores que deciden si los asistentes pueden citar theguardian.com: PerplexityBot. Solo rastreadores de entrenamiento bloqueados: ClaudeBot. Es una decisión legítima y no saca a theguardian.com de las respuestas.
| Rastreador | Sirve para | robots.txt | Petición real |
|---|---|---|---|
| GPTBot | Entrenamiento de modelos | Permitido · 48 reglas de ruta limitan a este rastreador | Respondió 200 |
| OAI-SearchBot | Búsqueda y citas | Permitido · 48 reglas de ruta limitan a este rastreador | Respondió 200 |
| ChatGPT-User | Página pedida por una persona | Permitido · 48 reglas de ruta limitan a este rastreador | Respondió 200 |
| PerplexityBot | Búsqueda y citas | Bloqueado por Disallow: / | Respondió 403: rechazado o página de verificación |
| ClaudeBot | Entrenamiento de modelos | Bloqueado por Disallow: / | Respondió 403: rechazado o página de verificación |
| Google-Extended | Entrenamiento de modelos | Permitido · 48 reglas de ruta limitan a este rastreador | Sin petición (solo interruptor de robots.txt) |
| Bingbot | Búsqueda y citas | Permitido · 48 reglas de ruta limitan a este rastreador | Respondió 200 |
| Googlebot | Búsqueda y citas | Permitido · 48 reglas de ruta limitan a este rastreador | Respondió 200 |
La corrección exacta
Edita robots.txt: bajo User-agent: PerplexityBot, quita esta línea:
Disallow: /
Edita robots.txt: bajo User-agent: ClaudeBot, quita esta línea:
Disallow: /
Tu servidor rechazó a PerplexityBot, ClaudeBot cuando el user-agent era el de ese rastreador. Busca la regla que lo hace (protección anti-bots del CDN o cortafuegos, plugin de seguridad, regla de user-agent del servidor) y deja pasar esas cadenas.
Después: el resto del sitio
Esta herramienta lee una página y dos archivos. La revisión gratis rastrea una muestra de páginas y lista todo lo que impide a buscadores y asistentes leer theguardian.com, con la corrección exacta de cada punto.
Hacer la revisión gratis de theguardian.com
Quién es quién
ChatGPT, Gemini, Copilot, Perplexity y Claude responden a las preguntas de tus compradores con rastreadores distintos. Los rastreadores de búsqueda (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) deciden si pueden citarte. ChatGPT-User pide una página cuando una persona se la pide. Los de entrenamiento (GPTBot, ClaudeBot, Google-Extended) alimentan modelos: bloquearlos es una decisión que no te saca de las respuestas.
Un apunte para webs españolas
En España, la excepción de minería de textos y datos (artículo 67 del texto refundido de la Ley de Propiedad Intelectual, incorporado por el Real Decreto-ley 24/2021 a partir de la Directiva (UE) 2019/790) no se aplica si el titular se ha reservado el uso de forma legible por máquina, por ejemplo en robots.txt. Bloquear un rastreador de entrenamiento es, por tanto, una decisión legítima. Información, no asesoramiento jurídico.