KI-Crawler-Einstellungen je Plattform / KI-Crawler nach Plattform

PrestaShop: robots.txt-Generator, ein Regelsatz für alle Bots

Von der CitedBy-Redaktion · Geprüft am 2026-10-24 · Methode (EN)

Wo die Einstellung bei PrestaShop liegt

Das Benutzerhandbuch von PrestaShop 8 führt sie unter Configuring your Shop Parameters auf, dann Traffic, dann SEO and URLs. Der Abschnitt heißt Robots file generation. Die Seite nennt darüber hinaus keinen Menüpfad im Back Office, und am Ende steht „Last updated 4 years ago“.

Was nur PrestaShops Seite sagt und die anderer Plattformen nicht

PrestaShop gibt Ihnen kein Feld, in das Sie Regeln tippen. Es gibt Ihnen eine Schaltfläche, die die ganze Datei schreibt. Der Leitfaden sagt, der Generator „erstellt einfach eine Datei mit Ausschlussanweisungen für Dateien und Verzeichnisse, die nicht öffentlich sein sollen“, angewendet auf alle Bots über die Zeichenfolge „User-agent: *“. Er sagt auch, die schlimmsten Bots ignorierten die Datei, weil sie „rein beratend“ sei. Die Folge für KI-Crawler steht in den letzten beiden Sätzen des Abschnitts: Neu generieren löscht alles, was Sie ergänzt haben.

Mit den Worten des Anbieters (englisches Original): “Clicking on the "Generate robots.txt" button replaces any existing robots.txt file with a new one. Therefore, if you want to add your own rules, do it after PrestaShop has generated its version of the file.”

Quelle: PrestaShop 8 User Guide: SEO and URLs, gelesen am 24. Oktober 2026.

Die Schritte

1. Öffnen Sie SEO and URLs im Bereich Traffic von Shop Parameters.
2. Gehen Sie zu Robots file generation.
3. Klicken Sie auf Generate robots.txt. Das ersetzt jede vorhandene robots.txt.
4. Ergänzen Sie Ihre eigenen Regeln, nachdem PrestaShop seine Version erzeugt hat. Die Seite sagt nicht, wie Sie die erzeugte Datei bearbeiten. Nutzen Sie daher den Dateizugriff, den Ihr Hosting bietet.
5. Öffnen Sie /robots.txt in Ihrem Shop, um zu prüfen, ob Ihre Regeln noch da sind. Wiederholen Sie Schritt 4 jedes Mal, wenn Sie die Schaltfläche erneut anklicken.

Die passenden Zeilen

Zum Erlauben:

# Nothing to add: the generated file only lists files and directories that are not public.
# To name one explicitly, add after the generated block:
User-agent: OAI-SearchBot
Allow: /

Zum Sperren:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Stolperfallen

Die erzeugte Datei spricht alle Bots gleich an, weil sie User-agent: * und sonst nichts verwendet. PrestaShops Werkzeug lässt Ihnen also keine Wahl pro Crawler. Der Leitfaden sagt, manchen Bots wollten Sie vollen Zugriff geben, etwa denen von Google, anderen nicht, etwa Spam-Bots und Content-Dieben. Diese Entscheidung treffen Sie in Ihren eigenen ergänzten Gruppen. Der Leitfaden erwähnt KI-Crawler überhaupt nicht beim Namen und verweist auch auf keine Einstellung und kein Modul für sie.

Vergleich mit Shopify

Shopify: Eine Vorlage robots.txt.liquid, die Ihre Ergänzungen behält, während PrestaShops Schaltfläche sie überschreibt.

Prüfen Sie Ihre eigene Website

Die kostenlose Prüfung im Feld oben liest die robots.txt für die KI-Crawler und sendet pro Crawler eine Live-Anfrage. So fällt eine Regel auf, die die Einstellungen Ihrer Plattform erlauben, eine Firewall aber ablehnt. Die vollständige Liste der Crawler finden Sie im KI-Crawler-Verzeichnis.

Häufige Fragen

Löscht das Neu-Generieren der robots.txt in PrestaShop meine KI-Crawler-Regeln?

Ja, wenn Sie sie in der erzeugten Datei ergänzt haben. PrestaShops Leitfaden sagt, die Schaltfläche ersetze jede vorhandene robots.txt durch eine neue, und Sie sollten Ihre eigenen Regeln ergänzen, nachdem sie ihre Version erzeugt hat.

Sperrt PrestaShop KI-Crawler standardmäßig?

Der Leitfaden sagt das nicht. Er beschreibt eine erzeugte Datei mit Ausschlussanweisungen für nicht öffentliche Dateien und Verzeichnisse unter User-agent: *, und er nennt keinen KI-Crawler.

Quellen

• PrestaShop 8 User Guide: SEO and URLs, gelesen am 24. Oktober 2026