CitedBot

CitedBot ist der Crawler hinter den Website-Audits von CitedBy: Er ruft Ihre Seiten ab, analysiert sie und meldet, was zu beheben ist. Sein User-Agent-Header lautet:

Mozilla/5.0 (compatible; CitedBot/1.0; +https://citedby.eu/bot)

Wann er kommt

Nur wenn ein Website-Inhaber oder ein Besucher CitedBy bittet, diese Website zu prüfen, oder sein KI-Tool bittet, eine Seite über den CitedBy-MCP-Server (Dokumentation auf Englisch: citedby.eu/mcp-server) zu prüfen: eine Seite, dieselben Regeln. Er crawlt nicht von selbst und baut keinen Index des Webs auf.

Wie er sich verhält

• Er liest zuerst Ihre robots.txt und befolgt sie. Er folgt der Gruppe User-agent: CitedBot und, falls es keine gibt, der Gruppe User-agent: *.
• Er wartet mindestens 1 Sekunde zwischen zwei Anfragen an Ihre Website.
• Er hört beim Seitenlimit des Tarifs des Audits auf: 500, 1.000, 5.000 oder 6.500 Seiten.
• Er liest nur öffentliche Seiten. Er meldet sich nicht an, sendet keine Formulare und führt keine Skripte aus.

Sperren

Tragen Sie dies in Ihre robots.txt ein, dann ruft er keine Seite ab:

User-agent: CitedBot
Disallow: /

Um ihn nur aus einem Ordner herauszuhalten, nutzen Sie stattdessen Disallow: /ordner/.

Kontakt

Fragen oder eine Bitte, das Crawlen zu beenden: hello@citedby.eu. Wir antworten innerhalb von 2 Werktagen.