Prüfungen / Zugriff der KI-Crawler

robots.txt blockiert Google-Extended

Google-Extended steuert, ob Google Ihre Inhalte für Training und Grounding von Gemini nutzt. Das Blockieren ist eine Entscheidung und wirkt sich nicht auf die Google-Suche aus.

robots_google_extended · Zugriff der KI-Crawler · Hinweis

Was zu ändern ist

Erlauben Sie Google-Extended, wenn Gemini Ihre Inhalte nutzen soll.

Beispiel

Zeilen in der robots.txt, die Google-Extended erlauben:

User-agent: Google-Extended
Allow: /

Wie häufig es vorkommt

In einer Stichprobe hat die Studie Sites, deren robots.txt Google-Extended blockiert gemessen: 9 von 294 Show-HN-Sites (3 %) und 0 von 67 Lovable-Sites (0 %).

Abgerufen am 20. und 21. Okt. 2026 als CitedBot, robots.txt beachtet, ohne JavaScript. Studie: Launch crawl 2026-10 (Englisch).

Zu dieser Prüfung

Prüfungs-ID	`robots_google_extended`
Berichtsabschnitt	Zugriff der KI-Crawler
Schweregrad	Hinweis
Wie sie entschieden wird	Gemessen: direkt aus der Seite oder der Serverantwort gelesen.
Hinzugefügt	Vor dem 19. Okt. 2026 (Versionen 1 und 2) oder eine seitenweite Prüfung ohne Versionsdatum
Status	In jedem Bericht gemessen
Bericht liefert den Code	Ja, ein Block für die ganze Site

Einstellungen je Plattform

Bei der robots.txt hängt es von der Plattform ab, wo die Einstellung liegt. Unsere Ratgeber behandeln 13: KI-Crawler-Einstellungen je Plattform.

Prüfen, ob es Ihre Website betrifft

Fügen Sie Ihre Adresse ein: Wir crawlen bis zu 10 Seiten und zeigen jedes gefundene Problem mit der Lösung. Ohne Konto, ohne Karte.

Meine Website kostenlos prüfen

Jeder Tarif crawlt bis zu seinem Seitenlimit und listet diese Prüfungen mit der Lösung: Tarife.

So funktioniert ein Audit: Methode