KI-Crawler / KI-Crawler

Google-CloudVertexBot: Aufgabe und Wirkung einer Sperre

Von der CitedBy-Redaktion · Geprüft am 2026-10-24 · 3 Quellen · Methode (EN)

Was Google-CloudVertexBot ist

Google-CloudVertexBot ist ein Google-Crawler, der unter den gängigen Crawlern aufgeführt ist. Laut Google führt er von Website-Betreibern angeforderte Crawls aus, um Vertex AI Agents zu bauen. Google zeigt ihn als Teilstring des User-Agents, nicht als vollständigen User-Agent-String.

Was der Betreiber sagt

Die Worte des Betreibers (englisches Original): “Crawling preferences addressed to the Google-CloudVertexBot user agent affect crawls requested by the site owners' for building Vertex AI Agents”

Quelle: Google Search Central: Google's common crawlers, gelesen am 24. Oktober 2026.

Was passiert, wenn Sie Google-CloudVertexBot sperren

Google sagt, dass Einstellungen für den User-Agent Google-CloudVertexBot Crawls betreffen, die Website-Betreiber zum Bau von Vertex AI Agents angefordert haben. Das habe keine Auswirkung auf die Google Suche oder andere Produkte.

Die robots.txt-Zeilen

So erlauben Sie Google-CloudVertexBot:

User-agent: Google-CloudVertexBot
Allow: /

So sperren Sie Google-CloudVertexBot:

User-agent: Google-CloudVertexBot
Disallow: /

Fügen Sie einen Block in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt. Eine Gruppe für ein Token gilt nicht für die anderen Crawler desselben Betreibers.

Der User-Agent-String laut Betreiber:

Google-CloudVertexBot

Woran Sie eine echte von einer gefälschten Anfrage unterscheiden

Die Datei developers.google.com/static/crawling/ipranges/common-crawlers.json enthielt am 24. Oktober 2026 317 Bereiche, Datei vom 2026-10-23.

Google sagt, die gängigen Crawler crawlen in der Regel aus den Bereichen in common-crawlers.json, und der Reverse-DNS-Name entspreche crawl-*-*-*-*.googlebot.com oder geo-crawl-*-*-*-*.geo.googlebot.com.

Vergleich mit Googlebot

Googlebot: Googlebot crawlt für die Google Suche, während Google-CloudVertexBot nur crawlt, wenn ein Website-Betreiber einen Crawl zum Bau von Vertex AI Agents angefordert hat.

Ihre eigene Website

Der kostenlose Check im Kasten oben testet acht Crawler (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended, Bingbot und Googlebot). Google-CloudVertexBot gehört nicht dazu: Lesen Sie Ihre robots.txt auf eine Gruppe Google-CloudVertexBot und suchen Sie den User-Agent in Ihrem Server-Log. Die vollständige Liste der Crawler steht im KI-Crawler-Verzeichnis.

Häufige Fragen

Befolgt Google-CloudVertexBot die robots.txt?

Ja. Google sagt, gängige Crawler befolgen beim automatischen Crawlen immer robots.txt-Regeln. Geben Sie Google-CloudVertexBot in der robots.txt eine eigene User-agent-Gruppe: Die anderen Crawler desselben Betreibers haben jeweils eigene Einstellungen.

Woher weiß ich, dass Google-CloudVertexBot wirklich gesperrt ist?

Die robots.txt ist nur eine Ebene: Auch eine CDN- oder Firewall-Regel kann einen Crawler abweisen, und ein Crawler kann die Datei ignorieren. Suchen Sie den User-Agent in Ihrem Server-Log und testen Sie die Adresse von außerhalb Ihres Netzes.

Quellen

• Google Search Central: Google's common crawlers
• Google: common-crawlers.json (read 2026-10-24, creationTime 2026-10-23)
• Google Search Central: Overview of Google crawlers and fetchers