Comprobaciones / Acceso de crawlers de IA
robots.txt bloquea a Google-Extended
Google-Extended controla si Google usa tu contenido para el entrenamiento y el grounding de Gemini. Bloquearlo es una decisión tuya; no afecta a la Búsqueda de Google.
robots_google_extended · Acceso de crawlers de IA · Aviso
Qué la activa
robots.txt no deja a Google-Extended leer tu página de inicio (una regla Disallow en su propio grupo, o en el grupo * cuando ningún grupo lo nombra) y no le deja ningún otro camino abierto.
Qué cambiar
Permite Google-Extended si quieres que Gemini use tu contenido.
Ejemplo
Líneas de robots.txt que permiten Google-Extended:
User-agent: Google-Extended
Allow: /Cómo confirmar la corrección
- Abre https://example.com/robots.txt: ningún grupo que nombre a Google-Extended (o el grupo *, si ninguno lo hace) prohíbe la página de inicio
- Lanza un nuevo rastreo: la tabla de crawlers de IA muestra a Google-Extended como permitido
Sobre Google-Extended
Google-Extended es un token de producto de robots.txt que permite a los editores gestionar si el contenido que Google rastrea puede usarse para entrenar futuros modelos de Gemini. No tiene user agent HTTP propio, así que nunca aparece en tus logs. Google dice que no afecta a la inclusión en Search ni al posicionamiento.
Añadir `Disallow: /` bajo Google-Extended le indica a Google que no puede usar el contenido para entrenar futuros modelos de Gemini que hay detrás de Gemini Apps y de la API de Vertex AI para Gemini. Google dice también que no afecta a la inclusión en Google Search y que no es una señal de posicionamiento. Nuestra auditoría lee este token en robots.txt como una de sus comprobaciones; es la única señal que hay. La página de Google también indica que este token gestiona el grounding (fundamentación), es decir, el contenido del índice de Google Search que se entrega al modelo en el momento de la consulta.
Función: Token de control (sin peticiones propias). Respeta robots.txt: Solo se lee en robots.txt; no hay un user agent aparte.
Google-Extended: operador, cadena user-agent y lista de direcciones
Con qué frecuencia aparece
En una muestra, el estudio midió los sitios cuyo robots.txt bloquea Google-Extended: 9 de 294 sitios de Show HN (3 %) y 0 de 67 sitios de Lovable (0 %).
Descargado los días 20 y 21 de oct. de 2026 como CitedBot, robots.txt respetado, sin JavaScript. Estudio: Launch crawl 2026-10 (inglés).
Sobre esta comprobación
| ID de la comprobación | robots_google_extended |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Aviso |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | Sí, un bloque para todo el sitio |
Ajustes por plataforma
En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.
Comprobaciones relacionadas
- robots.txt bloquea a CCBot
- robots.txt bloquea a ClaudeBot
- robots.txt bloquea a GPTBot
- robots.txt deja a CCBot fuera de tu página de inicio y de la mayor parte del sitio
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método