AI-crawler-toegang voor elpais.com
Crawlers die bepalen of assistenten elpais.com kunnen citeren, zijn geblokkeerd: PerplexityBot, Bingbot. Alleen trainingscrawlers geblokkeerd: ClaudeBot. Dat is een legitieme keuze en haalt elpais.com niet uit antwoorden.
| Crawler | Gebruikt voor | robots.txt | Echt verzoek |
|---|---|---|---|
| GPTBot | Modeltraining | Toegestaan · 16 padregels beperken deze crawler | Antwoord 200 |
| OAI-SearchBot | Zoeken en citaten | Toegestaan · 16 padregels beperken deze crawler | Antwoord 200 |
| ChatGPT-User | Pagina opgehaald voor een persoon | Toegestaan · 16 padregels beperken deze crawler | Antwoord 200 |
| PerplexityBot | Zoeken en citaten | Geblokkeerd door Disallow: / | Antwoord 200 |
| ClaudeBot | Modeltraining | Geblokkeerd door Disallow: / | Antwoord 200 |
| Google-Extended | Modeltraining | Toegestaan · 16 padregels beperken deze crawler | Geen verzoek (alleen robots.txt-schakelaar) |
| Bingbot | Zoeken en citaten | Toegestaan · 16 padregels beperken deze crawler | Antwoord 403: geweigerd of controlepagina |
| Googlebot | Zoeken en citaten | Toegestaan · 16 padregels beperken deze crawler | Antwoord 200 |
De exacte oplossing
Pas robots.txt aan: verwijder onder User-agent: PerplexityBot deze regel:
Disallow: /
Pas robots.txt aan: verwijder onder User-agent: ClaudeBot deze regel:
Disallow: /
Je server weigerde Bingbot wanneer de user-agent die van die crawler was. Zoek de regel die dat doet (botbescherming van CDN of firewall, beveiligingsplugin, user-agentregel op de server) en laat deze strings door.
Daarna: de rest van de site
Deze tool leest één pagina en twee bestanden. De gratis check doorzoekt een steekproef van pagina's en noemt alles wat zoekmachines en assistenten beletten elpais.com te lezen, met de exacte oplossing per punt.
Start de gratis check van elpais.com
Wie is wie
ChatGPT, Gemini, Copilot, Perplexity en Claude beantwoorden de vragen van kopers met verschillende crawlers. Zoekcrawlers (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot) bepalen of je geciteerd kunt worden. ChatGPT-User haalt een pagina op als iemand erom vraagt. Trainingscrawlers (GPTBot, ClaudeBot, Google-Extended) voeden modellen; blokkeren is een keuze die je niet uit antwoorden haalt.
Een punt voor Nederlandse sites
Volgens artikel 15o van de Auteurswet (op basis van richtlijn (EU) 2019/790) geldt de uitzondering voor tekst- en datamining niet als de rechthebbende zich daartegen heeft voorbehouden op machineleesbare wijze, bijvoorbeeld in robots.txt. Een trainingscrawler blokkeren is dus een legitieme keuze. Informatie, geen juridisch advies.