Rastreadores de IA / Rastreadores de IA
Googlebot: qué hace y qué cambia si lo bloqueas
Qué es Googlebot
Googlebot es el rastreador del que parte toda comprobación de Search. La página de Google enumera varios rastreadores, y el único token Googlebot gobierna Search, Discover y los productos que se nutren del mismo rastreo, como Imágenes, el modo Vídeo y Noticias.
| Dato | Googlebot |
|---|---|
| Operador | |
| Función | Búsqueda (también Imágenes, Vídeo, Noticias, Discover) |
| Token de robots.txt | Googlebot |
| Respeta robots.txt | Sí, siempre que rastrea de forma automática |
| Direcciones IP | 317 rangos (developers.google.com/static/search/apis/ipranges/googlebot.json, archivo del 2026-10-20) |
| Página del proveedor leída el | 21 de octubre de 2026 |
Qué dice el proveedor
En palabras del proveedor (original en inglés): “Google's common crawlers are used to find information for building Google's search indexes, perform other product specific crawls, and for analysis. They always obey robots.txt rules when crawling automatically.”
Fuente: Google Search Central: Google's common crawlers (last updated 2026-10-15), leído el 21 de octubre de 2026.
Qué pasa si bloqueas Googlebot
Un Disallow para Googlebot no es una exclusión específica de la IA; afecta a la propia Google Search, incluido Discover y las funciones que se apoyan en ella, según la lista de productos afectados de Google. El control más acotado para el entrenamiento de Gemini es el token aparte Google-Extended.
Las líneas de robots.txt
Para permitir Googlebot:
User-agent: Googlebot
Allow: /Para bloquear Googlebot:
User-agent: Googlebot
Disallow: /Pega un bloque en el robots.txt de la raíz de tu host, por ejemplo https://example.com/robots.txt. Un grupo para un token no cubre los demás rastreadores del mismo operador.
La cadena user-agent que muestra el proveedor:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Cómo distinguir una petición real de una falsa
Google publica los rangos que usan sus rastreadores comunes. El archivo de Googlebot tenía 317 prefijos el 21 de octubre de 2026, con hora de creación 2026-10-20 14:46 UTC. Google documenta también una máscara de DNS inverso para confirmar un nombre de host, así que una solicitud se comprueba de dos maneras: la dirección contra el archivo, y la búsqueda inversa contra la máscara. La propia página se actualizó por última vez el 2026-10-15.
Compara con Google-Extended
Google-Extended: Un token de control para el entrenamiento de Gemini; nunca obtiene una página.
Tu propio sitio
La comprobación gratuita del recuadro de arriba prueba Googlebot con una petición real y lee robots.txt para él. La lista completa de rastreadores está en el directorio de rastreadores de IA.
Preguntas frecuentes
¿Googlebot respeta robots.txt?
Sí, siempre que rastrea de forma automática. Dale a Googlebot su propio grupo User-agent en robots.txt: los demás rastreadores del mismo operador tienen cada uno su ajuste.
¿Cómo sé que Googlebot está realmente bloqueado?
robots.txt es solo una capa: una regla de CDN o de cortafuegos también puede rechazar a un rastreador, y un rastreador puede ignorar el archivo. Busca el user agent en el registro de tu servidor y prueba la dirección desde fuera de tu red.
Fuentes
- Google Search Central: Google's common crawlers (last updated 2026-10-15)
- developers.google.com/static/search/apis/ipranges/googlebot.json
Mira qué responde la IA sobre tu tienda
La auditoría rastrea tu web hasta el límite de páginas de tu plan, muestra qué rastreadores de IA entran y da la corrección exacta. Desde 9 €, garantía de 14 días.
Auditar mi webAuditoría desde 9 €, pago único. Garantía de 14 días.