AI-crawlers / AI-crawlers

Amzn-SearchBot: wat het doet en wat blokkeren verandert

Door de redactie van CitedBy · Nagekeken op 2026-10-24 · 2 bronnen · methode (EN)

Wat Amzn-SearchBot is

Amzn-SearchBot is een Amazon-crawler die wordt gebruikt om zoekervaringen in producten en diensten van Amazon te verbeteren. Amazon zegt dat je content in aanmerking komt om te verschijnen in zoekervaringen zoals Alexa als je de crawler toestaat, en dat hij content niet crawlt voor het trainen van generatieve AI-modellen. Het is een van drie Amazon-user agents (Amazonbot, Amzn-SearchBot, Amzn-User) die Amazon op één pagina beschrijft.

Wat de aanbieder zegt

De woorden van de aanbieder (Engels origineel): “If robots.txt files don’t mention Amzn-SearchBot but allow other search bots, Amzn-SearchBot will crawl in accordance with the robots.txt directives given to other search bots.”

Bron: Amazon: About Amazonbot, gelezen op 24 oktober 2026.

Wat gebeurt er als je Amzn-SearchBot blokkeert

Amazon zegt dat geautomatiseerd crawlen door zijn genoemde user agents het Robots Exclusion Protocol respecteert, inclusief de user-agent- en allow/disallow-regels. Amazon zegt dat de instelling van elke user agent los staat van de andere en dat het ongeveer 24 uur kan duren voordat een wijziging werkt. Noemt robots.txt Amzn-SearchBot niet maar staat het andere zoekbots toe, dan volgt Amzn-SearchBot de regels die voor die andere zoekbots gelden.

De robots.txt-regels

Om Amzn-SearchBot toe te staan:

User-agent: Amzn-SearchBot
Allow: /

Om Amzn-SearchBot te blokkeren:

User-agent: Amzn-SearchBot
Disallow: /

Plak een blok in de robots.txt in de root van je host, bijvoorbeeld https://example.com/robots.txt. Een groep voor één token geldt niet voor de andere crawlers van dezelfde aanbieder.

De user-agent-string volgens de aanbieder:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36

Hoe je een echt verzoek van een nep-verzoek onderscheidt

Amazon publiceert de IP-adressen van Amzn-SearchBot op een webpagina die de lijst als JSON toont, en verwijst ernaar vanaf de documentatiepagina van Amazonbot.

Vergelijk met Amazonbot

Amazonbot: Amazonbot wordt gebruikt om producten en diensten van Amazon te verbeteren en kan worden gebruikt om Amazon-AI-modellen te trainen. Amzn-SearchBot is bedoeld voor zoekervaringen en volgens Amazon crawlt die niet voor het trainen van generatieve AI-modellen.

Je eigen site

De gratis check in het kader hierboven test acht crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot en Googlebot). Amzn-SearchBot is er niet bij: kijk in je robots.txt of er een groep Amzn-SearchBot staat en zoek de user agent in je serverlog. De volledige lijst met crawlers staat in de gids met AI-crawlers.

Veelgestelde vragen

Volgt Amzn-SearchBot robots.txt?

Ja, wijzigingen kunnen ongeveer 24 uur duren. Geef Amzn-SearchBot in robots.txt een eigen User-agent-groep: de andere crawlers van dezelfde aanbieder hebben elk hun eigen instelling.

Hoe weet ik dat Amzn-SearchBot echt geblokkeerd is?

robots.txt is maar één laag: ook een CDN- of firewallregel kan een crawler weigeren, en een crawler kan het bestand negeren. Zoek de user agent in je serverlog en test het adres van buiten je netwerk.

Bronnen

• Amazon: About Amazonbot
• Amazon: Amzn-SearchBot IP addresses (read 2026-10-24)