Comprobaciones / Acceso de crawlers de IA
robots.txt bloquea a Claude-SearchBot
Claude-SearchBot es el crawler de búsqueda de uno de los grandes asistentes de IA.
robots_claude_searchbot · Acceso de crawlers de IA · Error
Qué la activa
robots.txt no deja a Claude-SearchBot leer tu página de inicio (una regla Disallow en su propio grupo, o en el grupo * cuando ningún grupo lo nombra) y no le deja ningún otro camino abierto.
Qué cambiar
Elimina la regla Disallow para Claude-SearchBot en robots.txt.
Ejemplo
Líneas de robots.txt que permiten Claude-SearchBot:
User-agent: Claude-SearchBot
Allow: /Cómo confirmar la corrección
- Abre https://example.com/robots.txt: ningún grupo que nombre a Claude-SearchBot (o el grupo *, si ninguno lo hace) prohíbe la página de inicio
- Lanza un nuevo rastreo: la tabla de crawlers de IA muestra a Claude-SearchBot como permitido
Sobre Claude-SearchBot
Claude-SearchBot es el robot de Anthropic que navega por la web para mejorar la calidad de los resultados de búsqueda. Anthropic dice que desactivarlo impide indexar tu contenido para la optimización de la búsqueda, lo que puede reducir tu visibilidad y precisión en los resultados de búsqueda de los usuarios. Su token de robots.txt es Claude-SearchBot.
Anthropic nombra dos efectos de desactivarlo: tu contenido no se indexa para la optimización de la búsqueda, y la visibilidad y la precisión de tu sitio en los resultados de búsqueda de los usuarios pueden bajar.
Función: Búsqueda. Respeta robots.txt: Sí, Anthropic dice que sus robots respetan robots.txt.
Claude-SearchBot: operador, cadena user-agent y lista de direcciones
Con qué frecuencia aparece
En una muestra, el estudio midió los sitios cuyo robots.txt bloquea Claude-SearchBot: 0 de 294 sitios de Show HN (0 %) y 0 de 67 sitios de Lovable (0 %).
Descargado los días 20 y 21 de oct. de 2026 como CitedBot, robots.txt respetado, sin JavaScript. Estudio: Launch crawl 2026-10 (inglés).
Sobre esta comprobación
| ID de la comprobación | robots_claude_searchbot |
|---|---|
| Sección del informe | Acceso de crawlers de IA |
| Gravedad | Error |
| Cómo se decide | Medida: se lee directamente de la página o de la respuesta del servidor. |
| Añadida | Antes del 19 oct. 2026 (versiones 1 y 2), o una comprobación de todo el sitio sin fecha de versión |
| Estado | Medida en cada informe |
| El informe da el código | Sí, un bloque para todo el sitio |
Ajustes por plataforma
En robots.txt, el sitio del ajuste depende de la plataforma. Nuestras guías cubren 13: ajustes de rastreadores de IA por plataforma.
Comprobaciones relacionadas
- Páginas con estado de error
- robots.txt bloquea a ChatGPT-User
- robots.txt bloquea a Claude-User
- robots.txt bloquea a OAI-SearchBot
Mira si afecta a tu sitio
Pega tu dirección: rastreamos hasta 10 páginas y mostramos cada problema que encontramos, con su corrección. Sin cuenta, sin tarjeta.
Cada plan rastrea hasta su límite de páginas y lista estas comprobaciones con la corrección: planes.
Cómo funciona una auditoría: método