Prüfungen / Zugriff der KI-Crawler
robots.txt blockiert Google-Extended
Google-Extended steuert, ob Google Ihre Inhalte für Training und Grounding von Gemini nutzt. Das Blockieren ist eine Entscheidung und wirkt sich nicht auf die Google-Suche aus.
robots_google_extended · Zugriff der KI-Crawler · Hinweis
Was sie auslöst
robots.txt erlaubt Google-Extended nicht, Ihre Startseite abzurufen (eine Disallow-Regel in seiner eigenen Gruppe oder in der *-Gruppe, wenn keine Gruppe ihn nennt), und lässt ihm keinen anderen Pfad offen.
Was zu ändern ist
Erlauben Sie Google-Extended, wenn Gemini Ihre Inhalte nutzen soll.
Beispiel
Zeilen in der robots.txt, die Google-Extended erlauben:
User-agent: Google-Extended
Allow: /So bestätigen Sie die Korrektur
- Öffnen Sie https://example.com/robots.txt: Keine Gruppe, die Google-Extended nennt (oder die *-Gruppe, wenn keine es tut), sperrt die Startseite
- Starten Sie einen neuen Crawl: Die Tabelle der KI-Crawler führt Google-Extended als erlaubt auf
Über Google-Extended
Google-Extended ist ein robots.txt-Produkt-Token, mit dem Publisher steuern können, ob von Google gecrawlte Inhalte zum Training künftiger Gemini-Modelle verwendet werden dürfen. Es hat keinen eigenen HTTP-User-Agent und taucht deshalb nie in Ihren Logs auf. Laut Google hat es keinen Einfluss auf die Aufnahme in die Suche oder auf das Ranking.
Wenn Sie `Disallow: /` unter Google-Extended eintragen, sagen Sie Google, dass es die Inhalte nicht zum Training künftiger Gemini-Modelle hinter den Gemini Apps und der Vertex AI API für Gemini verwenden darf. Google sagt außerdem, dass das die Aufnahme in die Google Suche nicht beeinflusst und kein Ranking-Signal ist. Unser Audit liest dieses Token in robots.txt als eine seiner Prüfungen; es ist das einzige Signal, das es gibt. Googles Seite nennt außerdem Grounding, also Inhalte aus dem Google-Suchindex, die dem Modell zum Zeitpunkt der Anfrage mitgegeben werden, als etwas, das dieses Token steuert.
Aufgabe: Steuerungs-Token (stellt keine eigenen Anfragen). Beachtet robots.txt: Nur aus robots.txt gelesen; es gibt keinen eigenen User-Agent.
Google-Extended: Betreiber, User-Agent-Zeichenfolge und Adressliste
Wie häufig es vorkommt
In einer Stichprobe hat die Studie Sites, deren robots.txt Google-Extended blockiert gemessen: 9 von 294 Show-HN-Sites (3 %) und 0 von 67 Lovable-Sites (0 %).
Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).
Zu dieser Prüfung
| Prüfungs-ID | robots_google_extended |
|---|---|
| Berichtsabschnitt | Zugriff der KI-Crawler |
| Schweregrad | Hinweis |
| Wie sie entschieden wird | Gemessen: direkt aus der Seite oder der Serverantwort gelesen. |
| Hinzugefügt | Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum |
| Status | In jedem Bericht gemessen |
| Bericht liefert den Code | Ja, ein Block für die ganze Site |
Einstellungen je Plattform
Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.
Verwandte Prüfungen
- robots.txt blockiert CCBot
- robots.txt blockiert ClaudeBot
- robots.txt blockiert GPTBot
- robots.txt hält CCBot von Ihrer Startseite und dem Großteil der Website fern
Prüfen, ob es Ihre Website betrifft
Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.
Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.
So funktioniert ein Audit: Methode