Naar de inhoud
CitedBy

Is theguardian.com vindbaar?

ZoekmachineWat we zagenVolgende stap
GoogleGooglebot: leest de paginaNiets blokkeert Googlebot. Dien de sitemap in bij Search Console en controleer of er een laatste leesdatum staat.
Bing (ook ChatGPT-zoeken en Copilot)Bingbot: leest de paginaNiets blokkeert Bingbot. Voeg de site toe in Bing Webmaster Tools, dien de sitemap in en stuur nieuwe pagina's via IndexNow.
AI-assistenten (ChatGPT, Perplexity, Claude)OAI-SearchBot: leest de pagina
PerplexityBot: geblokkeerd door robots.txt
Claude-SearchBot: geblokkeerd door robots.txt
Verwijder de robots.txt-regel die de crawler in deze rij blokkeert.

Je sitemap

robots.txt noemt je sitemap en die bevat 515 URL's. 515 van de 515 sitemap-URL's hebben een lastmod-datum.

Wat dit niet laat zien

Of een pagina geïndexeerd is, in resultaten getoond wordt of door een assistent geciteerd wordt. Alleen Google Search Console, Bing Webmaster Tools en je serverlog tonen dat. Geïndexeerd en getoond: hier niet gemeten.

Daarna: de rest van de site

Deze tool leest robots.txt, je sitemap en één pagina. De gratis check crawlt een steekproef van pagina's en toont alles wat zoekmachines en assistenten belet theguardian.com te lezen, met de exacte oplossing.

Start de gratis check van theguardian.com

Gecontroleerd op 2026-10-22 (UTC) vanaf de CitedBy-server: robots.txt gelezen volgens RFC 9309, één GET van https://theguardian.com/ per crawler-user-agent. CDN's die crawlers op IP verifiëren kunnen de echte crawlers anders behandelen.

Controleer een ander domein

Ook gratis: AI-crawler-toegangscheck · llms.txt-checker