CitedBot

CitedBot es el rastreador que hay detrás de las auditorías web de CitedBy: rastrea tus páginas, las analiza e indica qué corregir. Su cabecera User-Agent es:

Mozilla/5.0 (compatible; CitedBot/1.0; +https://citedby.eu/bot)

Cuándo visita

Solo cuando el propietario de un sitio o un visitante pide a CitedBy auditar ese sitio, o pide a su herramienta de IA que revise una página mediante el servidor MCP de CitedBy (documentación en inglés: citedby.eu/mcp-server): una página, las mismas reglas. No rastrea por su cuenta ni construye un índice de la web.

Cómo se comporta

• Lee primero tu robots.txt y lo obedece. Sigue el grupo User-agent: CitedBot y, si no hay ninguno, el grupo User-agent: *.
• Espera al menos 1 segundo entre peticiones a tu sitio.
• Se detiene en el límite de páginas del plan de la auditoría: 500, 1.000, 5.000 o 6.500 páginas.
• Solo lee páginas públicas. No inicia sesión, no envía formularios y no ejecuta scripts.

Bloquearlo

Añade esto a tu robots.txt y no descargará ninguna página:

User-agent: CitedBot
Disallow: /

Para mantenerlo fuera de una sola carpeta, usa Disallow: /carpeta/.

Contacto

Preguntas o una petición para que deje de rastrear: hello@citedby.eu. Respondemos en 2 días laborables.