AI-crawlers / AI-crawlers

MistralAI-User: wat het doet en wat blokkeren verandert

Door de redactie van CitedBy · Nagekeken op 2026-10-21 · 2 bronnen · methode (EN)

Wat MistralAI-User is

Op de crawlerpagina van Mistral staan drie agents: MistralAI-User voor gebruikersacties in Vibe, MistralAI-Index voor het indexeren van content voor het zoeken van Mistral, en MistralAI-Training, dat webcontent crawlt om datasets op te bouwen voor het trainen van generatieve AI-modellen van Mistral. Webmasters kunnen elk daarvan in robots.txt uitsluiten met Disallow.

Wat de aanbieder zegt

De woorden van de aanbieder (Engels origineel): “MistralAI-User is for user actions in Vibe. When users ask Vibe a question, it may visit a web page to help answer and include a link to the source in its response.”

Bron: Mistral Docs: Mistral crawlers, gelezen op 21 oktober 2026.

Wat gebeurt er als je MistralAI-User blokkeert

Als je MistralAI-User uitsluit, opent die agent je pagina niet meer voor de vraag van een Vibe-gebruiker. De index- en trainingsagents blijven buiten schot, want die hebben eigen tokens. Mistral zegt dat de user agent niet wordt gebruikt om het web automatisch te crawlen, ook niet om content te crawlen voor het trainen van generatieve AI, en dat content die de indexagent crawlt niet wordt gebruikt voor generatieve AI-training van welke aard dan ook.

De robots.txt-regels

Om MistralAI-User toe te staan:

User-agent: MistralAI-User
Allow: /

Om MistralAI-User te blokkeren:

User-agent: MistralAI-User
Disallow: /

Plak een blok in de robots.txt in de root van je host, bijvoorbeeld https://example.com/robots.txt. Een groep voor één token geldt niet voor de andere crawlers van dezelfde aanbieder.

De user-agent-string volgens de aanbieder:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)

Hoe je een echt verzoek van een nep-verzoek onderscheidt

Mistral publiceert aparte adresbestanden voor de agents. mistral.ai/mistralai-user-ips.json bevatte op 21 oktober 2026 4 prefixen (aanmaaktijd 2025-02-19) en het indexbestand 2 prefixen (aanmaaktijd 2026-04-19). Twee vermeldingen voor een indexcrawler is een lijst die een firewallregel precies kan bevatten.

Vergelijk met ChatGPT-User

ChatGPT-User: Dezelfde taak als bij OpenAI, met een andere robots.txt-belofte.

Je eigen site

De gratis check in het kader hierboven test acht crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot en Googlebot). MistralAI-User is er niet bij: kijk in je robots.txt of er een groep MistralAI-User staat en zoek de user agent in je serverlog. De volledige lijst met crawlers staat in de gids met AI-crawlers.

Veelgestelde vragen

Volgt MistralAI-User robots.txt?

Opt-out via robots.txt. Geef MistralAI-User in robots.txt een eigen User-agent-groep: de andere crawlers van dezelfde aanbieder hebben elk hun eigen instelling.

Hoe weet ik dat MistralAI-User echt geblokkeerd is?

robots.txt is maar één laag: ook een CDN- of firewallregel kan een crawler weigeren, en een crawler kan het bestand negeren. Zoek de user agent in je serverlog en test het adres van buiten je netwerk.

Bronnen

• Mistral Docs: Mistral crawlers
• mistral.ai/mistralai-user-ips.json