AI-crawlers / AI-crawlers
YandexBot: wat het doet en wat blokkeren verandert
Wat YandexBot is
Yandex noemt YandexBot de belangrijkste indexeringsrobot. Yandex heeft veel andere robots met eigen user agents (voor afbeeldingen, video, advertenties, mobiele pagina's, favicons en meer), die op dezelfde pagina staan. Yandex publiceert geen IP-lijst voor zijn bots.
| Gegeven | YandexBot |
|---|---|
| Aanbieder | Yandex |
| Taak | Zoeken (belangrijkste indexeringsrobot) |
| robots.txt-token | Yandex |
| Volgt robots.txt | Ja, houdt rekening met de algemene regels in robots.txt (User-agent: *) |
| IP-adressen | Controle via reverse DNS |
| Pagina van de aanbieder gelezen op | 24 oktober 2026 |
Wat de aanbieder zegt
De woorden van de aanbieder (Engels origineel): “Some robots can disguise themselves as Yandex robots by indicating the relevant User Agent. You can check the authenticity of a robot using a reverse DNS lookup.”
Bron: Yandex Webmaster: How to check that a robot belongs to Yandex, gelezen op 24 oktober 2026.
Wat gebeurt er als je YandexBot blokkeert
Yandex zegt dat een aantal van zijn robots pagina's downloadt voor andere doelen dan indexering en beperkende regels voor alle robots (User-agent: *) kan negeren. Om die robots te beperken heb je regels nodig die speciaal voor hen zijn geschreven, bijvoorbeeld User-agent: YandexCalendar. Yandex voegt toe dat een document waar de belangrijkste Yandex-robot niet bij kan, nooit wordt geïndexeerd of in zoekresultaten te vinden is.
De robots.txt-regels
Om YandexBot toe te staan:
User-agent: Yandex
Allow: /Om YandexBot te blokkeren:
User-agent: Yandex
Disallow: /Plak een blok in de robots.txt in de root van je host, bijvoorbeeld https://example.com/robots.txt. Een groep voor één token geldt niet voor de andere crawlers van dezelfde aanbieder.
De user-agent-string volgens de aanbieder:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)Hoe je een echt verzoek van een nep-verzoek onderscheidt
Yandex zegt dat je een reverse DNS-lookup op het IP-adres moet doen, moet controleren of de hostnaam eindigt op yandex.ru, yandex.net of yandex.com, en dat moet bevestigen met een forward lookup. Yandex biedt ook een tool om IP-adressen te controleren.
Vergelijk met Googlebot
Googlebot: Beide zijn de belangrijkste crawler voor zoekindexering van hun aanbieder. Yandex noemt veel aparte robots, waarvan sommige algemene robots.txt-regels negeren, en zegt geen IP-lijst te publiceren.
Je eigen site
De gratis check in het kader hierboven test acht crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot en Googlebot). YandexBot is er niet bij: kijk in je robots.txt of er een groep Yandex staat en zoek de user agent in je serverlog. De volledige lijst met crawlers staat in de gids met AI-crawlers.
Veelgestelde vragen
Volgt YandexBot robots.txt?
Ja, houdt rekening met de algemene regels in robots.txt (User-agent: *). Geef Yandex in robots.txt een eigen User-agent-groep: de andere crawlers van dezelfde aanbieder hebben elk hun eigen instelling.
Hoe weet ik dat YandexBot echt geblokkeerd is?
robots.txt is maar één laag: ook een CDN- of firewallregel kan een crawler weigeren, en een crawler kan het bestand negeren. Zoek de user agent in je serverlog en test het adres van buiten je netwerk.
Bronnen
Zie wat AI antwoordt over je webshop
De audit crawlt je site tot de paginalimiet van je abonnement, toont welke AI-crawlers binnenkomen en geeft de exacte oplossing. Vanaf €9, 14 dagen geld-terug-garantie.
Audit mijn siteAudit vanaf €9, eenmalig betaald. 14 dagen geld-terug-garantie.