Comprobaciones / Acceso de crawlers de IA
robots.txt bloquea a Google-Extended
Google-Extended controla si Google usa tu contenido para el entrenamiento y el grounding de Gemini. Bloquearlo es una decisión tuya; no afecta a la Búsqueda de Google.
robots_google_extended · Acceso de crawlers de IA · Aviso
Qué cambiar
Permite Google-Extended si quieres que Gemini use tu contenido.
Ejemplo
Líneas de robots.txt que permiten Google-Extended:
User-agent: Google-Extended
Allow: /Con qué frecuencia aparece
En una muestra, el estudio midió los sitios cuyo robots.txt bloquea Google-Extended: 9 de 294 sitios de Show HN (3 %) y 0 de 67 sitios de Lovable (0 %).
Descargado los días 20 y 21 de oct. de 2026 como CitedBot, robots.txt respetado, sin JavaScript. Estudio: Launch crawl 2026-10 (inglés).
Sobre esta comprobación
| ID de la comprobación | robots_google_extended |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Aviso |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | Sí, un bloque para todo el sitio |
Ajustes por plataforma
En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.
Comprobaciones relacionadas
- robots.txt bloquea a ChatGPT-User
- robots.txt bloquea a Claude-SearchBot
- robots.txt bloquea a Claude-User
- robots.txt bloquea a OAI-SearchBot
- robots.txt bloquea a Perplexity-User
- robots.txt bloquea a PerplexityBot
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método