Acceso de rastreadores de IA a cdiscount.com
Los 8 rastreadores pueden leer cdiscount.com: robots.txt los permite y el servidor respondió a cada petición de prueba.
| Rastreador | Sirve para | robots.txt | Petición real |
|---|---|---|---|
| GPTBot | Entrenamiento de modelos | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
| OAI-SearchBot | Búsqueda y citas | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
| ChatGPT-User | Página pedida por una persona | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
| PerplexityBot | Búsqueda y citas | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
| ClaudeBot | Entrenamiento de modelos | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
| Google-Extended | Entrenamiento de modelos | Permitido · 244 reglas de ruta limitan a este rastreador | Sin petición (solo interruptor de robots.txt) |
| Bingbot | Búsqueda y citas | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
| Googlebot | Búsqueda y citas | Permitido · 244 reglas de ruta limitan a este rastreador | Respondió 200 |
La corrección exacta
Nada que corregir en el acceso de rastreadores.
Después: el resto del sitio
Esta herramienta lee una página y dos archivos. La revisión gratis rastrea una muestra de páginas y lista todo lo que impide a buscadores y asistentes leer cdiscount.com, con la corrección exacta de cada punto.
Hacer la revisión gratis de cdiscount.com
Quién es quién
ChatGPT, Gemini, Copilot, Perplexity y Claude responden a las preguntas de tus compradores con rastreadores distintos. Los rastreadores de búsqueda (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) deciden si pueden citarte. ChatGPT-User pide una página cuando una persona se la pide. Los de entrenamiento (GPTBot, ClaudeBot, Google-Extended) alimentan modelos: bloquearlos es una decisión que no te saca de las respuestas.
Un apunte para webs españolas
En España, la excepción de minería de textos y datos (artículo 67 del texto refundido de la Ley de Propiedad Intelectual, incorporado por el Real Decreto-ley 24/2021 a partir de la Directiva (UE) 2019/790) no se aplica si el titular se ha reservado el uso de forma legible por máquina, por ejemplo en robots.txt. Bloquear un rastreador de entrenamiento es, por tanto, una decisión legítima. Información, no asesoramiento jurídico.