Saltar al contenido
CitedByAuditar un sitio

Comprobaciones / Acceso de crawlers de IA

robots.txt deja a GPTBot fuera de tu página de inicio y de la mayor parte del sitio

GPTBot recoge datos de entrenamiento y solo puede leer las rutas que robots.txt le permite. Es una decisión: la mayor parte de tus páginas queda fuera del entrenamiento futuro de modelos, no fuera de la búsqueda con IA.

robots_partial_gptbot · Acceso de crawlers de IA · Aviso

Qué la activa

robots.txt no deja a GPTBot leer tu página de inicio, pero le deja abiertos algunos otros caminos; el hallazgo nombra los tres primeros.

Qué cambiar

Quita la regla Disallow: / para GPTBot en robots.txt o añade reglas Allow para las demás rutas que quieras que lea.

Ejemplo

Líneas de robots.txt que permiten GPTBot:

User-agent: GPTBot
Allow: /

Cómo confirmar la corrección

  1. Abre https://example.com/robots.txt: el grupo que nombra a GPTBot (o el grupo *, si ninguno lo hace) deja abierta la mayor parte del sitio, no solo la página de inicio
  2. Lanza un nuevo rastreo: la tabla de crawlers de IA ya no marca a GPTBot como bloqueado en su mayor parte

Sobre GPTBot

GPTBot es el rastreador de entrenamiento de OpenAI. Bloquearlo con Disallow en robots.txt le indica a OpenAI que el contenido del sitio no debe usarse para entrenar sus modelos fundacionales de IA generativa. No controla la búsqueda de ChatGPT, que usa OAI-SearchBot. OpenAI publica 18 rangos de IP para GPTBot.

Permítelo y bloquea GPTBot para seguir en la búsqueda de ChatGPT y excluirte del entrenamiento.

La lista de GPTBot en openai.com/gptbot.json es la más corta de los tres archivos de OpenAI que contamos: 18 prefijos el 21 de octubre de 2026, con hora de creación 2026-09-22. Cuando una petición nombra a GPTBot pero llega desde una dirección que no está en esa lista, el nombre por sí solo no prueba nada.

Función: Entrenamiento. Respeta robots.txt: Sí, sigue robots.txt.

GPTBot: operador, cadena user-agent y lista de direcciones

Con qué frecuencia aparece

No hemos medido lo frecuente que es en una muestra de sitios. Las cifras aparecen aquí cuando un estudio la cubre.

Sobre esta comprobación

ID de la comprobaciónrobots_partial_gptbot
Sección del informeAcceso de crawlers de IA
GravedadAviso
Cómo se decideMedida: se lee directamente de la página o de la respuesta del servidor.
AñadidaAntes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión
EstadoMedida en cada informe
El informe da el códigoSí, un bloque para todo el sitio

Ajustes por plataforma

En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.

Comprobaciones relacionadas

Mira si afecta a tu sitio

Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.

Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.

Cómo funciona una auditoría: método