Rastreadores de IA: quiénes son, qué hacen y cómo permitirlos o bloquearlos
Una página por rastreador, con el operador, el token de robots.txt, la frase del propio operador, lo que cuesta bloquearlo y cómo verificar una petición, todo leído en la página del operador en la fecha indicada.
Un rastreador de IA es un bot que descarga páginas para un asistente como ChatGPT, Claude, Perplexity o Gemini, para un índice de búsqueda o para entrenar modelos. Cada página indica el operador, el token de robots.txt, qué cambia un bloqueo y cómo verificar una petición, para que decidas bot por bot.
| Rastreador | Operador | Función | Respeta robots.txt |
|---|---|---|---|
| Amazonbot | Amazon | Mejora de productos, puede entrenar modelos de IA de Amazon | Sí, los cambios tardan unas 24 horas |
| Amzn-SearchBot | Amazon | Búsqueda | Sí, los cambios pueden tardar unas 24 horas |
| Amzn-User | Amazon | Consulta iniciada por el usuario | Parcial, puede no seguir todas las directivas de robots.txt porque las acciones pueden ser iniciadas por el usuario |
| Applebot | Apple | Búsqueda (los datos rastreados también pueden ayudar a entrenar modelos de Apple) | Sí, en los rastreos generales de búsqueda dirigidos a Applebot |
| Applebot-Extended | Apple | Token de control (sin solicitudes propias) | Solo se lee en robots.txt |
| Baiduspider | Baidu | Búsqueda | Sí en Baiduspider; Baiduspider-cpro y Baiduspider-ads no siguen los registros de robots.txt |
| Bingbot | Microsoft | Rastreador de búsqueda | Sí |
| CCBot | Common Crawl | Archivo abierto de rastreo web | Sí, mediante una regla de robots.txt para CCBot |
| ChatGPT-User | OpenAI | Consulta iniciada por el usuario | Es posible que las reglas de robots.txt no se apliquen |
| Claude-SearchBot | Anthropic | Búsqueda | Sí, Anthropic dice que sus robots respetan robots.txt |
| Claude-User | Anthropic | Consulta iniciada por el usuario | Sí, Anthropic dice que sus robots respetan robots.txt |
| ClaudeBot | Anthropic | Entrenamiento | Sí, sigue robots.txt y Crawl-delay |
| Diffbot | Diffbot | Búsqueda (rastreo web general) | Sí, por defecto (directivas disallow y crawl-delay) |
| DuckAssistBot | DuckDuckGo | Consulta en tiempo real para respuestas asistidas por IA | Sí, un cambio surte efecto a las 72 horas |
| DuckDuckBot | DuckDuckGo | Búsqueda | Sí, respeta WWW::RobotRules (no publica ninguna nota sobre plazos) |
| ExaSearchBot | Exa | Índice de búsqueda y recuperación | Sí, el proveedor dice que consulta robots.txt antes de obtener una página |
| ExaUser | Exa | Consulta iniciada por el usuario | Parcial, el proveedor dice que es posible que las reglas de robots.txt no se apliquen a las consultas iniciadas por el usuario |
| Google-Agent | Consulta iniciada por el usuario (agentes que actúan por un usuario) | Parcial. Google dice que los agentes de consultas iniciadas por el usuario por lo general ignoran las reglas de robots.txt porque la consulta la pidió un usuario. | |
| Google-CloudVertexBot | Rastreo pedido por propietarios de sitios para Vertex AI Agents | Sí. Google dice que los rastreadores comunes siempre obedecen las reglas de robots.txt cuando rastrean de forma automática. | |
| Google-Extended | Token de control (sin solicitudes propias) | Solo se lee en robots.txt; no hay un agente de usuario aparte | |
| Google-GeminiNotebook | Consulta iniciada por el usuario | Parcial. Google dice que los agentes de consultas iniciadas por el usuario por lo general ignoran las reglas de robots.txt porque la consulta la pidió un usuario. | |
| Google-Pinpoint | Consulta iniciada por el usuario | Parcial. Google dice que los agentes de consultas iniciadas por el usuario por lo general ignoran las reglas de robots.txt porque la consulta la pidió un usuario. | |
| Googlebot | Búsqueda (también Imágenes, Vídeo, Noticias, Discover) | Sí, siempre que rastrea de forma automática | |
| GoogleOther | Rastreo genérico para varios equipos de producto de Google | Sí. Google dice que los rastreadores comunes siempre obedecen las reglas de robots.txt cuando rastrean de forma automática. | |
| GPTBot | OpenAI | Entrenamiento | Sí, sigue robots.txt |
| ICC-Crawler | NICT (Universal Communication Research Institute) | Recogida de datos para investigación (incluye investigación y desarrollo de IA) | Sí, y con un Crawl-Delay usa el mayor entre ese intervalo y su propio mínimo |
| ImagesiftBot | Hive (ImageSift) | Índice de imágenes para búsqueda de imágenes similares | Sí, y admite Crawl-delay |
| Kagibot | Kagi | Búsqueda | Sí, se respetan las directivas estándar de robots.txt dirigidas a Kagibot |
| LinkupBot | Linkup | Índice de búsqueda para la búsqueda web de IA | Sí, el proveedor dice que respeta las reglas de robots.txt aplicables |
| Meta-ExternalAgent | Meta | Entrenamiento de modelos de IA e indexación de contenido | Sí |
| Meta-ExternalFetcher | Meta | Consulta iniciada por el usuario | Parcial, puede saltarse robots.txt porque las consultas las pide un usuario |
| Meta-WebIndexer | Meta | Búsqueda | Sí, los cambios pueden tardar hasta 24 horas |
| MistralAI-User | Mistral | Consulta iniciada por el usuario | Exclusión mediante robots.txt |
| MojeekBot | Mojeek | Búsqueda | Sí, obedece el Estándar de exclusión de robots; crawl-delay no se admite |
| OAI-SearchBot | OpenAI | Búsqueda | Sí, sigue robots.txt |
| Perplexity-User | Perplexity | Consulta iniciada por el usuario | Por lo general ignora las reglas de robots.txt, porque la consulta la pidió un usuario |
| PerplexityBot | Perplexity | Búsqueda | Sí, sigue robots.txt |
| Storebot-Google | Búsqueda (superficies de Google Shopping) | Sí. Google dice que los rastreadores comunes siempre obedecen las reglas de robots.txt cuando rastrean de forma automática. | |
| YandexBot | Yandex | Búsqueda (robot de indexación principal) | Sí, tiene en cuenta las reglas generales de robots.txt (User-agent: *) |
| YouBot | You.com | Búsqueda | Sí, robots.txt se guarda en caché 30 minutos, así que los cambios pueden tardar hasta 30 minutos |
robots.txt para copiar: rechazar el entrenamiento de modelos y seguir en la búsqueda con IA
Operadores que dicen que su rastreador puede usarse para entrenar modelos: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot. El primer bloque los desactiva. El segundo mantiene activos los rastreadores de búsqueda y respuesta: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, Meta-WebIndexer. Es una decisión de tu negocio, y un Disallow solo afecta a los bots que lo respetan.
Rechazar el entrenamiento
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /Seguir en la búsqueda con IA
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Meta-WebIndexer
Allow: /- Amazonbot: qué hace y qué cambia si lo bloqueasAmazonbot (Amazon): varias funciones. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Amzn-SearchBot: qué hace y qué cambia si lo bloqueasAmzn-SearchBot (Amazon): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Amzn-User: qué hace y qué cambia si lo bloqueasAmzn-User (Amazon): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- Applebot-Extended: qué hace y qué cambia si lo bloqueasApplebot-Extended (Apple): token de control. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Applebot: qué hace y qué cambia si lo bloqueasApplebot (Apple): varias funciones. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Baiduspider: qué hace y qué cambia si lo bloqueasBaiduspider (Baidu): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Bingbot: qué hace y qué cambia si lo bloqueasBingbot (Microsoft): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- CCBot: qué hace y qué cambia si lo bloqueasCCBot (Common Crawl): varias funciones. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- ChatGPT-User: qué hace y qué cambia si lo bloqueasChatGPT-User (OpenAI): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- Claude-SearchBot: qué hace y qué cambia si lo bloqueasClaude-SearchBot (Anthropic): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Claude-User: qué hace y qué cambia si lo bloqueasClaude-User (Anthropic): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- ClaudeBot: qué hace y qué cambia si lo bloqueasClaudeBot (Anthropic): entrenamiento. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Diffbot: qué hace y qué cambia si lo bloqueasDiffbot (Diffbot): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- DuckAssistBot: qué hace y qué cambia si lo bloqueasDuckAssistBot (DuckDuckGo): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- DuckDuckBot: qué hace y qué cambia si lo bloqueasDuckDuckBot (DuckDuckGo): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- ExaSearchBot: qué hace y qué cambia si lo bloqueasExaSearchBot (Exa): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- ExaUser: qué hace y qué cambia si lo bloqueasExaUser (Exa): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Google-Agent: qué hace y qué cambia si lo bloqueasGoogle-Agent (Google): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- Google-CloudVertexBot: qué hace y qué cambia si lo bloqueasGoogle-CloudVertexBot (Google): varias funciones. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Google-Extended: qué hace y qué cambia si lo bloqueasGoogle-Extended (Google): token de control. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Google-GeminiNotebook: qué hace y qué cambia si lo bloqueasGoogle-GeminiNotebook (Google): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- Google-Pinpoint: qué hace y qué cambia si lo bloqueasGoogle-Pinpoint (Google): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- Googlebot: qué hace y qué cambia si lo bloqueasGooglebot (Google): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- GoogleOther: qué hace y qué cambia si lo bloqueasGoogleOther (Google): varias funciones. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- GPTBot: qué hace y qué cambia si lo bloqueasGPTBot (OpenAI): entrenamiento. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- ICC-Crawler: qué hace y qué cambia si lo bloqueasICC-Crawler (NICT (Universal Communication Research Institute)): entrenamiento. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- ImagesiftBot: qué hace y qué cambia si lo bloqueasImagesiftBot (Hive (ImageSift)): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Kagibot: qué hace y qué cambia si lo bloqueasKagibot (Kagi): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- LinkupBot: qué hace y qué cambia si lo bloqueasLinkupBot (Linkup): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Meta-ExternalAgent: qué hace y qué cambia si lo bloqueasMeta-ExternalAgent (Meta): varias funciones. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Meta-ExternalFetcher: qué hace y qué cambia si lo bloqueasMeta-ExternalFetcher (Meta): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- Meta-WebIndexer: qué hace y qué cambia si lo bloqueasMeta-WebIndexer (Meta): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- MistralAI-User: qué hace y qué cambia si lo bloqueasMistralAI-User (Mistral): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- MojeekBot: qué hace y qué cambia si lo bloqueasMojeekBot (Mojeek): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- OAI-SearchBot: qué hace y qué cambia si lo bloqueasOAI-SearchBot (OpenAI): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Perplexity-User: qué hace y qué cambia si lo bloqueasPerplexity-User (Perplexity): consulta iniciada por el usuario. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición.
- PerplexityBot: qué hace y qué cambia si lo bloqueasPerplexityBot (Perplexity): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- Storebot-Google: qué hace y qué cambia si lo bloqueasStorebot-Google (Google): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- YandexBot: qué hace y qué cambia si lo bloqueasYandexBot (Yandex): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.
- YouBot: qué hace y qué cambia si lo bloqueasYouBot (You.com): búsqueda. Token de robots.txt, qué cambia un Disallow y cómo verificar una petición, leído en la página del operador.