AI-crawlers toestaan of blokkeren op 13 websiteplatforms
Eén pagina per platform: waar de eigen helppagina de instelling plaatst, wat die wel en niet dekt, en het ene ding dat alleen die pagina zegt, elk gelezen op de getoonde datum.
Elke pagina noemt de helppagina van het platform, waar de AI-crawlerinstelling staat, wat die wel en niet dekt: Adobe Commerce, Cloudflare, Framer, Ghost, Netlify, PrestaShop, Shopify, Squarespace, Vercel, Webflow, Wix, WordPress.com, WP Engine.
- Adobe Commerce: robots.txt onder Content, Design, ConfigurationAdobe Commerce bewerkt robots.txt in de Admin onder Search Engine Robots. Cloud-projecten hebben extra pub/media-stappen en Adobe noemt geen AI-crawler.
- Cloudflare: AI-botbeleid voor Search, Agent en TrainingCloudflare deelt AI-bots in als Search, Agent en Training, met Block, Block on pages with ads en Allow. Nieuwe standaardinstellingen vanaf 15 sept. 2026.
- Framer: upload je eigen robots.txt met Static FilesFramer genereert een robots.txt voor elke gepubliceerde site. Je wijzigt hem door via Static Files je eigen bestand te uploaden (Pro of Enterprise).
- Ghost: robots.txt in je thema, AI-crawlers toestaan of blokkerenGhost heeft geen robots.txt-instelling in de admin. Volgens de helppagina sla je een robots.txt op in de root van je thema. Ghost(Pro): abonnement nodig.
- Netlify: blokkeer AI-crawlers met robots.txt + User Agent BlockerNetlify heeft geen robots.txt-instelling: lever een bestand vanuit je siteroot of installeer User Agent Blocker. De gids van Netlify zegt: gebruik beide.
- PrestaShop: robots.txt-generator: één set regels voor alle botsDe gids van PrestaShop beschrijft een knop Generate robots.txt die je bestand vervangt en alleen User-agent: * gebruikt. Voeg AI-regels toe na het genereren.
- Shopify: AI-crawlers toestaan of blokkeren en wat robots.txt mistBewerk robots.txt.liquid om AI-crawlers op Shopify toe te staan of te blokkeren. Dat raakt volgens Shopify alleen het open web, niet de productdata.
- Squarespace: AI-crawlervakje blokkeert 26 bots, maar ChatGPT nietHet paneel Crawlers van Squarespace heeft één vakje dat bekende AI-crawlers blokkeert. De 26 namen in robots.txt missen de zoek- en gebruikersbots van ChatGPT.
- Vercel: de AI Bots-regelset in de Firewall (Log of Deny)Vercel blokkeert AI-bots met een Firewall-regelset, niet met een robots.txt-regel. Waar de AI Bots Ruleset staat, de acties Log en Deny en de botlijst.
- Webflow: robots.txt-regels en de Content-Signal-header voor AIWaar de robots.txt-editor van Webflow staat, welk abonnement je nodig hebt en hoe de Content-Signal-header AI-training, zoeken en AI-input van elkaar scheidt.
- Wix: blokkeer AI-crawlers in de Robots.txt Editor (vier namen)De helppagina van Wix zegt dat je vier user agents in de Robots.txt Editor plakt. Waar de editor staat, wat het voorbeeld weglaat en de optie nosnippet.
- WordPress.com: AI-opt-out via privacyinstelling, geen robots.txtWordPress.com ziet AI-opt-out als 'Prevent third-party sharing' in de privacyinstellingen. Wat de zichtbaarheidsgids zegt, beoordeeld op 5 oktober 2026.
- WP Engine: robots.txt, standaard crawl-delay van 10 s, Web RulesVolgens WP Engine gaat een fysiek robots.txt boven pluginbestanden en geldt standaard een crawl-delay van 10 seconden. Web Rules weigert bots op user agent.