AI-crawler-toegang voor nytimes.com

Crawlers die bepalen of assistenten nytimes.com kunnen citeren, zijn geblokkeerd: OAI-SearchBot, ChatGPT-User, PerplexityBot, Bingbot, Googlebot. Alleen trainingscrawlers geblokkeerd: GPTBot, ClaudeBot, Google-Extended. Dat is een legitieme keuze en haalt nytimes.com niet uit antwoorden.

Crawler	Gebruikt voor	robots.txt	Echt verzoek
GPTBot	Modeltraining	Geblokkeerd door Disallow: /	Antwoord 403: geweigerd of controlepagina
OAI-SearchBot	Zoeken en citaten	Geblokkeerd door Disallow: /	Antwoord 403: geweigerd of controlepagina
ChatGPT-User	Pagina opgehaald voor een persoon	Geblokkeerd door Disallow: /	Antwoord 403: geweigerd of controlepagina
PerplexityBot	Zoeken en citaten	Geblokkeerd door Disallow: /	Antwoord 403: geweigerd of controlepagina
ClaudeBot	Modeltraining	Geblokkeerd door Disallow: /	Antwoord 403: geweigerd of controlepagina
Google-Extended	Modeltraining	Geblokkeerd door Disallow: /	Geen verzoek (alleen robots.txt-schakelaar)
Bingbot	Zoeken en citaten	Toegestaan · 86 padregels beperken deze crawler	Antwoord 403: geweigerd of controlepagina
Googlebot	Zoeken en citaten	Toegestaan · 93 padregels beperken deze crawler	Antwoord 403: geweigerd of controlepagina

robots.txt gevonden en gelezen.

Onze eigen CitedBot kreeg ook 403 op de homepage, dus de blokkade geldt niet alleen AI-crawlers.

Googlebot, Bingbot en de crawlers van OpenAI worden ook op IP-adres geverifieerd. Een weigering voor hun string vanaf ons adres kan een site zijn die zich tegen nepbots beschermt; is de echte crawler geblokkeerd, dan laten Google Search Console en Bing Webmaster Tools dat zien.

De exacte oplossing

Pas robots.txt aan: verwijder onder User-agent: GPTBot deze regel:

Disallow: /

Pas robots.txt aan: verwijder onder User-agent: OAI-SearchBot deze regel:

Disallow: /

Pas robots.txt aan: verwijder onder User-agent: ChatGPT-User deze regel:

Disallow: /

Pas robots.txt aan: verwijder onder User-agent: PerplexityBot deze regel:

Disallow: /

Pas robots.txt aan: verwijder onder User-agent: ClaudeBot deze regel:

Disallow: /

Pas robots.txt aan: verwijder onder User-agent: Google-Extended deze regel:

Disallow: /

Je server weigerde GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Bingbot, Googlebot wanneer de user-agent die van die crawler was. Zoek de regel die dat doet (botbescherming van CDN of firewall, beveiligingsplugin, user-agentregel op de server) en laat deze strings door.

Daarna: de rest van de site

Deze tool leest één pagina en twee bestanden. De gratis check doorzoekt een steekproef van pagina's en noemt alles wat zoekmachines en assistenten beletten nytimes.com te lezen, met de exacte oplossing per punt.

Start de gratis check van nytimes.com

Methode: robots.txt gelezen volgens RFC 9309; één GET van https://nytimes.com/ per crawlerstring, vanaf de server van CitedBy (echte crawlers komen van hun eigen adresreeksen). Onze eigen crawler is CitedBot/1.0. Gecontroleerd op 2026-10-21 (UTC).

Wie is wie

ChatGPT, Gemini, Copilot, Perplexity en Claude beantwoorden de vragen van kopers met verschillende crawlers. Zoekcrawlers (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) bepalen of je geciteerd kunt worden. ChatGPT-User haalt een pagina op als iemand erom vraagt. Trainingscrawlers (GPTBot, ClaudeBot, Google-Extended) voeden modellen; blokkeren is een keuze die je niet uit antwoorden haalt.

Een punt voor Nederlandse sites

Volgens artikel 15o van de Auteurswet (op basis van richtlijn (EU) 2019/790) geldt de uitzondering voor tekst- en datamining niet als de rechthebbende zich daartegen heeft voorbehouden op machineleesbare wijze, bijvoorbeeld in robots.txt. Een trainingscrawler blokkeren is dus een legitieme keuze. Informatie, geen juridisch advies.

Bekijk een echt resultaat

Ook gratis: llms.txt-checker