Prüfungen / Links, Canonical und Geschwindigkeit
Seiten verweigern unseren Crawler oder antworten nicht
Einige Seiten der Website antworteten mit 429 (zu viele Anfragen), wiesen den Crawler ab (401, 403 oder eine Prüfseite) oder antworteten beim zweiten Versuch nicht rechtzeitig. Suchmaschinen und KI-Crawler stoßen auf dieselben Mauern: wiederholte 429 oder Zeitüberschreitungen lassen sie langsamer werden oder das Crawlen der Website einstellen, und abgewiesene Seiten werden nicht gelesen. Wir haben sie aus den Seitenprüfungen herausgenommen, daher erscheinen sie nur hier.
crawl_refused · Links, Canonical und Geschwindigkeit · Warnung
Was zu ändern ist
Passen Sie die Lösung an das an, was die Seite getan hat. 429: Liefern Sie die Seiten aus einem Cache oder einem statischen Ergebnis aus und erhöhen Sie das Limit für Crawler; halten Sie Retry-After kurz. 401, 403 oder eine Prüfseite: Erlauben Sie CitedBot in der Firewall-Regel, die ihn blockiert; der Bot-Test in diesem Bericht zeigt, welche durchkommen. Keine Antwort: Finden Sie die Route, die bei der ersten Anfrage ein Live-Ergebnis berechnet, und liefern Sie stattdessen ein gespeichertes Ergebnis oder ein Formular. Erhalten verifizierte Googlebot und OAI-SearchBot auf diesen Seiten ein 200 und wird nur unser Crawler abgewiesen, ist die Sperre eine Regel gegen unbekannte Bots, und Sie können sie lassen.
Wie häufig es vorkommt
In den Audits unserer eigenen Sites am 26. Okt. 2026 (4 Sites): Befund als richtig bewertet bei citedby.eu.
Quelle: finding audit 2026-10-26 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | crawl_refused |
|---|---|
| Berichtsabschnitt | Links, Canonical und Geschwindigkeit |
| Schweregrad | Warnung |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Nein, die Lösung wird im Text beschrieben |
Verwandte Prüfungen
- Defekte interne Links
- Canonical zeigt auf eine defekte oder weiterleitende URL
- Weiterleitungsschleife
- Canonical zeigt auf eine noindex-Seite
- Canonical zeigt auf eine andere Seite
- Sehr großes HTML
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode