KI-Crawler auf 13 Website-Plattformen erlauben oder sperren
Eine Seite pro Plattform: wo laut der Hilfeseite der Plattform die Einstellung liegt, was sie abdeckt und was nicht, und das, was nur diese Seite sagt, jeweils am angegebenen Datum gelesen.
Jede Seite nennt die Hilfeseite der Plattform, den Ort der KI-Crawler-Einstellung, was sie abdeckt und was nicht: Adobe Commerce, Cloudflare, Framer, Ghost, Netlify, PrestaShop, Shopify, Squarespace, Vercel, Webflow, Wix, WordPress.com, WP Engine.
- Adobe Commerce: robots.txt unter Content, Design, ConfigurationAdobe Commerce bearbeitet die robots.txt im Admin unter Search Engine Robots. Cloud-Projekte brauchen Zusatzschritte, und Adobe nennt keinen KI-Crawler.
- Cloudflare: KI-Bot-Richtlinien für Search, Agent und TrainingCloudflares Seite Block AI Bots teilt KI-Bots in Search, Agent und Training ein, mit Block, Block on pages with ads und Allow. Neue Standards ab 15. Sept. 2026.
- Framer: Eigene robots.txt mit Static Files hochladenFramer erzeugt für jede Site eine robots.txt. Ändern geht nur per eigenem Upload über Static Files in Pro oder Enterprise, der die erzeugte Datei ersetzt.
- Ghost: robots.txt im Theme: KI-Crawler erlauben oder sperrenGhost hat im Admin keine robots.txt-Einstellung. Laut Hilfeseite liegt die Datei im Theme-Stammverzeichnis und ersetzt den Standard.
- Netlify: KI-Crawler mit robots.txt und User Agent Blocker sperrenNetlify hat keine robots.txt-Einstellung: Liefern Sie die Datei selbst aus oder nutzen Sie User Agent Blocker. Der Leitfaden rät zu beidem.
- PrestaShop: robots.txt-Generator, ein Regelsatz für alle BotsPrestaShops Leitfaden beschreibt die Schaltfläche Generate robots.txt: Sie ersetzt Ihre Datei und nutzt nur User-agent: *. Ergänzen Sie KI-Regeln erst danach.
- Shopify: KI-Crawler steuern und was die robots.txt nicht erfasstMit robots.txt.liquid erlauben oder sperren Sie KI-Crawler bei Shopify. Laut Shopify trifft eine Sperre nur das offene Web, nicht Produktdaten an ChatGPT.
- Squarespace: KI-Crawler-Kästchen sperrt 26 Bots, nicht ChatGPTSquarespaces Bereich Crawlers hat ein Kästchen für bekannte KI-Crawler. Die 26 Namen in der robots.txt lassen ChatGPTs Such- und User-Bots aus.
- Vercel: Das AI Bots Ruleset in der Firewall (Log oder Deny)Vercel blockt KI-Bots mit einem Firewall-Ruleset, nicht per robots.txt. Wo das AI Bots Ruleset liegt, was Log und Deny tun und wie Vercel die Bot-Liste pflegt.
- Webflow: robots.txt-Regeln und der Content-Signal-Header für KIWo Webflows robots.txt-Editor liegt, welchen Tarif er braucht und wie der Content-Signal-Header KI-Training, Suche und KI-Eingabe trennt.
- Wix: KI-Crawler im Robots.txt Editor sperren (vier Namen)Wix' Hilfeseite sagt, Sie sollen vier User-Agents in den Robots.txt Editor einfügen. Wo der Editor liegt, was das Beispiel auslässt und die Option nosnippet.
- WordPress.com: KI-Opt-out per Datenschutz, nicht per robots.txtWordPress.com behandelt das KI-Opt-out als „Prevent third-party sharing“ in den Datenschutzeinstellungen. Was der Leitfaden sagt, geprüft am 5. Oktober 2026.
- WP Engine: robots.txt, Standard-Crawl-Delay 10 s und Web RulesLaut WP Engine hat eine physische robots.txt Vorrang vor Plugin-Dateien, der Standard-Crawl-Delay beträgt 10 Sekunden. Web Rules sperren Bots per User-Agent.