CitedBot

CitedBot est le robot derrière les audits de site CitedBy : il explore vos pages, les analyse et indique ce qu'il faut corriger. Son en-tête User-Agent est :

Mozilla/5.0 (compatible; CitedBot/1.0; +https://citedby.eu/bot)

Quand il passe

Uniquement quand un propriétaire de site ou un visiteur demande à CitedBy d'auditer ce site, ou demande à son outil d'IA de vérifier une page via le serveur MCP de CitedBy (documentation en anglais : citedby.eu/mcp-server) : une page, les mêmes règles. Il n'explore rien de lui-même et ne construit pas d'index du web.

Comment il se comporte

• Il lit d'abord votre robots.txt et le respecte. Il suit le groupe User-agent: CitedBot et, à défaut, le groupe User-agent: *.
• Il attend au moins 1 seconde entre deux requêtes vers votre site.
• Il s'arrête à la limite de pages de l'offre de l'audit : 500, 1 000, 5 000 ou 6 500 pages.
• Il ne lit que des pages publiques. Il ne se connecte pas, ne remplit pas de formulaires et n'exécute pas de scripts.

Le bloquer

Ajoutez ceci à votre robots.txt et il ne récupérera aucune page :

User-agent: CitedBot
Disallow: /

Pour l'écarter d'un seul dossier, utilisez plutôt Disallow: /dossier/.

Contact

Questions ou demande d'arrêt de l'exploration : hello@citedby.eu. Nous répondons sous 2 jours ouvrés.