Controles / Toegang voor AI-crawlers
robots.txt blokkeert Google-Extended
Google-Extended bepaalt of Google je content gebruikt voor training en grounding van Gemini. Blokkeren is een keuze; het heeft geen invloed op Google Search.
robots_google_extended · Toegang voor AI-crawlers · Opmerking
Wat haar activeert
robots.txt laat Google-Extended je startpagina niet ophalen (een Disallow-regel in zijn eigen groep, of in de *-groep als geen groep hem noemt) en laat voor hem geen ander pad open.
Wat je moet aanpassen
Sta Google-Extended toe als je wilt dat Gemini je content gebruikt.
Voorbeeld
Regels in robots.txt die Google-Extended toestaan:
User-agent: Google-Extended
Allow: /Zo bevestig je de oplossing
- Open https://example.com/robots.txt: geen groep die Google-Extended noemt (of de *-groep, als geen enkele dat doet) verbiedt de startpagina
- Start een nieuwe crawl: de tabel met AI-crawlers toont Google-Extended als toegestaan
Over Google-Extended
Google-Extended is een robots.txt-producttoken waarmee uitgevers bepalen of content die Google crawlt mag worden gebruikt om toekomstige Gemini-modellen te trainen. Het heeft geen eigen HTTP-user-agent, dus je ziet het nooit in je logs. Google zegt dat het geen invloed heeft op opname in Search of op de rangschikking.
Met `Disallow: /` onder Google-Extended laat je Google weten dat de content niet mag worden gebruikt om toekomstige Gemini-modellen achter Gemini Apps en de Vertex AI API for Gemini te trainen. Google zegt ook dat het geen invloed heeft op opname in Google Search en geen rangschikkingssignaal is. Onze audit leest dit token in robots.txt als een van de controles. Het is het enige signaal dat er is. De pagina van Google noemt ook grounding, dat wil zeggen content uit de Google Search-index die het model op het moment van de vraag krijgt, als iets wat dit token regelt.
Taak: Opt-outtoken (doet zelf geen verzoeken). Volgt robots.txt: Alleen uit robots.txt gelezen; er is geen aparte user agent.
Google-Extended: beheerder, user-agent-tekst en adreslijst
Hoe vaak het voorkomt
In een steekproef mat de studie sites waarvan robots.txt Google-Extended blokkeert: 9 van 294 Show HN-sites (3%) en 0 van 67 Lovable-sites (0%).
Opgehaald op 20 en 21 okt. 2026 als CitedBot, robots.txt gevolgd, zonder JavaScript. Studie: Launch crawl 2026-10 (Engels).
Over deze controle
| Controle-ID | robots_google_extended |
|---|---|
| Sectie van het rapport | Toegang voor AI-crawlers |
| Ernst | Opmerking |
| Hoe het wordt bepaald | Gemeten: direct gelezen uit de pagina of het antwoord van de server. |
| Toegevoegd | Voor 19 okt. 2026 (versies 1 en 2), of een sitebrede controle zonder versiedatum |
| Status | Gemeten in elk rapport |
| Rapport geeft de code | Ja, één blok voor de hele site |
Instellingen per platform
Voor robots.txt verschilt per platform waar de instelling staat. Onze gidsen behandelen er 13: AI-crawlerinstellingen per platform.
Verwante controles
- robots.txt blokkeert CCBot
- robots.txt blokkeert ClaudeBot
- robots.txt blokkeert GPTBot
- robots.txt houdt CCBot buiten je startpagina en het grootste deel van de site
Kijk of het voor je site geldt
Plak je adres: we crawlen tot 10 pagina's en tonen elk probleem dat we vinden, met de oplossing. Geen account, geen kaart.
Elk abonnement crawlt tot zijn paginalimiet en toont deze controles met de oplossing: abonnementen.
Hoe een audit werkt: methode