CitedBot

CitedBot is de crawler achter de site-audits van CitedBy: hij crawlt je pagina's, analyseert ze en meldt wat je moet herstellen. Zijn User-Agent-header is:

Mozilla/5.0 (compatible; CitedBot/1.0; +https://citedby.eu/bot)

Wanneer hij langskomt

Alleen als een site-eigenaar of een bezoeker CitedBy vraagt die site te auditen, of zijn AI-tool vraagt één pagina te controleren via de CitedBy MCP-server (documentatie in het Engels: citedby.eu/mcp-server): één pagina, dezelfde regels. Hij crawlt niet uit zichzelf en bouwt geen index van het web.

Hoe hij zich gedraagt

• Hij leest eerst je robots.txt en houdt zich eraan. Hij volgt de groep User-agent: CitedBot en, als die er niet is, de groep User-agent: *.
• Hij wacht minstens 1 seconde tussen verzoeken aan je site.
• Hij stopt bij de paginalimiet van het abonnement van de audit: 500, 1.000, 5.000 of 6.500 pagina's.
• Hij leest alleen openbare pagina's. Hij logt niet in, verstuurt geen formulieren en voert geen scripts uit.

Blokkeren

Zet dit in je robots.txt en hij haalt geen enkele pagina op:

User-agent: CitedBot
Disallow: /

Wil je hem alleen uit één map houden, gebruik dan Disallow: /map/.

Contact

Vragen of een verzoek om te stoppen met crawlen: hello@citedby.eu. We antwoorden binnen 2 werkdagen.