¿Qué rastreadores de IA bloquean los sitios de tus clientes?
Pega hasta 25 dominios, uno por línea. De cada sitio leemos el robots.txt como lo hace un rastreador y mostramos cuáles de 14 rastreadores de IA deja entrar, en una tabla que descargas como CSV. Gratis, sin cuenta.
Qué obtienes
- Una fila por sitio: si se encontró robots.txt, qué rastreadores de entrenamiento bloquea (GPTBot, ClaudeBot, Google-Extended, CCBot) y qué rastreadores de búsqueda de los motores de respuesta (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
- La parte de tu lista que bloquea cada tipo, junto a la misma parte entre los sitios europeos populares de nuestro Índice semanal.
- Un CSV con las columnas del Índice, una fila por sitio, para tu propio informe.
Cómo se lee la lista
Cada robots.txt se pide por https, luego por https con www y luego por http, y se lee según la RFC 9309: gana el grupo que nombra al rastreador, si no el grupo *; gana la regla más larga que coincide. «Bloquea» significa que el rastreador no puede leer la página de inicio. Es lo que pide cada sitio; la comprobación de un solo sitio prueba además lo que responde su servidor a cada rastreador.
Para quién
Para agencias y consultores que necesitan decirle a un cliente en una línea si GPTBot, ClaudeBot o PerplexityBot pueden leer su sitio, y a qué clientes llamar primero.