Réglages des robots IA par plateforme / Robots d'exploration IA par plateforme

Webflow : règles robots.txt et en-tête Content-Signal pour l'IA

Par la rédaction de CitedBy · Vérifié le 2026-10-21 · 2 sources · méthode (EN)

Où se trouve le réglage sur Webflow

Allez dans Site settings, puis SEO, puis Indexing, ajoutez la ou les règles robots.txt voulues, puis cliquez sur Save et publiez votre site. Webflow ajoute une ligne Sitemap par défaut ; un interrupteur la retire.

Un en-tête qui sépare l'entraînement, la recherche et les réponses IA

En plus de robots.txt, la page de Webflow dit qu'un site peut servir un en-tête HTTP Content-Signal, réglé dans la même zone Indexing, pour donner des instructions plus fines aux robots d'exploration IA. Son exemple est Content-Signal: ai-train=no, search=yes, ai-input=no. Webflow explique la séparation : robots.txt contrôle si les bots peuvent accéder à vos pages, tandis que Content-Signal dit si le contenu peut être utilisé pour l'entraînement d'IA, l'indexation de recherche ou les réponses générées par l'IA, séparément. Webflow ajoute lui-même la réserve : cela repose sur une extension proposée de la RFC 9309 et n'est pas encore une norme acceptée. Il énonce donc une préférence ; il n'arrête pas un robot, et la page de Webflow ne dit pas quels robots le lisent.

Dans les mots du fournisseur (original en anglais) : “This is based on a proposed extension to RFC 9309 and is not yet an accepted standard.”

Source : Webflow Help: Set robots.txt rules, lu le 21 octobre 2026.

Les étapes

1. Ouvrez Site settings et allez dans SEO, puis Indexing.
2. Saisissez les règles robots.txt voulues dans le champ des règles.
3. Si vous le souhaitez, réglez l'en-tête Content-Signal dans la même zone.
4. Cliquez sur Save et publiez votre site, puis ouvrez yourdomain.com/robots.txt pour vérifier le fichier en ligne.

Les lignes à utiliser

Pour autoriser :

User-agent: OAI-SearchBot
Allow: /

User-agent: *
Allow: /

Pour bloquer :

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Content-Signal: ai-train=no, search=yes, ai-input=no

Pièges à éviter

La page de Webflow dit que votre robots.txt est visible publiquement : ne comptez donc pas sur lui pour cacher des pages privées. Elle dit aussi que tous les bots ne le suivent pas.

Comparer avec Wix

Wix : un chemin d'édition plus long et un exemple de quatre noms.

Vérifier votre propre site

Le contrôle gratuit dans l'encadré ci-dessus lit robots.txt pour les robots d'exploration IA et envoie une requête réelle par robot. Une règle que les réglages de votre plateforme autorisent mais qu'un pare-feu refuse apparaît donc. La liste complète des robots se trouve sur le répertoire des robots d'exploration IA.

Questions fréquentes

Me faut-il une offre payante pour robots.txt sur Webflow ?

Une page d'aide de Webflow dit qu'il faut une offre Site ou une offre Workspace payante pour ajouter un fichier robots.txt à votre site.

Qu'est-ce que Content-Signal ?

Une extension proposée de la RFC 9309 que Webflow peut envoyer sous forme d'en-tête : ai-train, search et ai-input, chacun réglé sur yes ou no.

Webflow bloque-t-il les mauvais bots à ma place ?

Sa page d'aide montre comment écrire une règle pour un bot nommé. Elle dit que certains bots, surtout les malveillants, ne suivent pas robots.txt.

Sources

• Webflow Help: Set robots.txt rules, lu le 21 octobre 2026
• Webflow Help: Request to block specific bots from visiting your site, lu le 21 octobre 2026