Controles / Links, canonical en snelheid
Pagina's weigeren onze crawler of antwoorden niet
Sommige pagina's van de site gaven 429 (te veel verzoeken), weigerden de crawler (401, 403 of een controlepagina) of antwoordden bij een tweede poging niet op tijd. Zoekmachines en AI-crawlers lopen tegen dezelfde muren aan: herhaalde 429's of time-outs laten ze vertragen of de site niet meer crawlen, en geweigerde pagina's worden niet gelezen. We hebben ze uit de paginacontroles gelaten, dus dit is de enige plek waar ze verschijnen.
crawl_refused · Links, canonical en snelheid · Waarschuwing
Wat je moet aanpassen
Pas de oplossing aan op wat de pagina deed. 429: lever deze pagina's uit een cache of een statisch resultaat en verhoog de limiet voor crawlers; houd Retry-After kort. 401, 403 of een controlepagina: sta CitedBot toe in de firewallregel die hem blokkeert; de bottest in dit rapport laat zien welke crawlers erdoor komen. Geen antwoord: zoek de route die bij het eerste verzoek een live resultaat berekent en lever in plaats daarvan een opgeslagen resultaat of een formulier. Krijgen geverifieerde Googlebot en OAI-SearchBot op deze pagina's een 200 en wordt alleen onze crawler geweigerd, dan is de muur een regel tegen onbekende bots en kun je hem laten staan.
Hoe vaak het voorkomt
In de audits van onze eigen sites op 26 okt. 2026 (4 sites): bevinding juist beoordeeld op citedby.eu.
Bron: finding audit 2026-10-26 (Engels).
Over deze controle
| Controle-ID | crawl_refused |
|---|---|
| Sectie van het rapport | Links, canonical en snelheid |
| Ernst | Waarschuwing |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Nee, de oplossing wordt in tekst beschreven |
Verwante controles
- Kapotte interne links
- Canonical verwijst naar een kapotte of doorsturende URL
- Redirectlus
- Canonical verwijst naar een noindex-pagina
- Canonical verwijst naar een andere pagina
- Zeer grote HTML
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode