AI-crawlers / AI-crawlers

Google-CloudVertexBot: wat het doet en wat blokkeren verandert

Door de redactie van CitedBy · Nagekeken op 2026-10-24 · 3 bronnen · methode (EN)

Wat Google-CloudVertexBot is

Google-CloudVertexBot is een Google-crawler die tot de algemene crawlers van Google hoort. Google zegt dat hij crawls uitvoert die site-eigenaren aanvragen om Vertex AI Agents te bouwen. Google toont hem als een deelstring van de user agent, niet als volledige user-agent-string.

Wat de aanbieder zegt

De woorden van de aanbieder (Engels origineel): “Crawling preferences addressed to the Google-CloudVertexBot user agent affect crawls requested by the site owners' for building Vertex AI Agents”

Bron: Google Search Central: Google's common crawlers, gelezen op 24 oktober 2026.

Wat gebeurt er als je Google-CloudVertexBot blokkeert

Google zegt dat voorkeuren voor de user agent Google-CloudVertexBot gelden voor crawls die site-eigenaren aanvragen om Vertex AI Agents te bouwen. Volgens Google heeft dit geen effect op Google Search of andere producten.

De robots.txt-regels

Om Google-CloudVertexBot toe te staan:

User-agent: Google-CloudVertexBot
Allow: /

Om Google-CloudVertexBot te blokkeren:

User-agent: Google-CloudVertexBot
Disallow: /

Plak een blok in de robots.txt in de root van je host, bijvoorbeeld https://example.com/robots.txt. Een groep voor één token geldt niet voor de andere crawlers van dezelfde aanbieder.

De user-agent-string volgens de aanbieder:

Google-CloudVertexBot

Hoe je een echt verzoek van een nep-verzoek onderscheidt

Het bestand developers.google.com/static/crawling/ipranges/common-crawlers.json bevatte op 24 oktober 2026 317 bereiken, bestand van 2026-10-23.

Google zegt dat de algemene crawlers meestal crawlen vanuit de bereiken in common-crawlers.json en dat de reverse DNS-naam overeenkomt met crawl-*-*-*-*.googlebot.com of geo-crawl-*-*-*-*.geo.googlebot.com.

Vergelijk met Googlebot

Googlebot: Googlebot crawlt voor Google Search, terwijl Google-CloudVertexBot alleen crawlt als een site-eigenaar een crawl heeft aangevraagd om Vertex AI Agents te bouwen.

Je eigen site

De gratis check in het kader hierboven test acht crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot en Googlebot). Google-CloudVertexBot is er niet bij: kijk in je robots.txt of er een groep Google-CloudVertexBot staat en zoek de user agent in je serverlog. De volledige lijst met crawlers staat in de gids met AI-crawlers.

Veelgestelde vragen

Volgt Google-CloudVertexBot robots.txt?

Ja. Google zegt dat algemene crawlers bij automatisch crawlen altijd robots.txt-regels volgen. Geef Google-CloudVertexBot in robots.txt een eigen User-agent-groep: de andere crawlers van dezelfde aanbieder hebben elk hun eigen instelling.

Hoe weet ik dat Google-CloudVertexBot echt geblokkeerd is?

robots.txt is maar één laag: ook een CDN- of firewallregel kan een crawler weigeren, en een crawler kan het bestand negeren. Zoek de user agent in je serverlog en test het adres van buiten je netwerk.

Bronnen

• Google Search Central: Google's common crawlers
• Google: common-crawlers.json (read 2026-10-24, creationTime 2026-10-23)
• Google Search Central: Overview of Google crawlers and fetchers