Google, Anthropic, OpenAI en Microsoft gaan een gedeeld signaal respecteren waarmee websites aangeven dat ze geen AI-training op hun content willen. Eén instelling volstaat dan voor alle bedrijven die meedoen.
Websites krijgen een eenvoudigere manier om AI-bedrijven te laten weten dat hun teksten niet mogen dienen om AI-modellen te trainen. Google, Anthropic, OpenAI en Microsoft gaan daarvoor een gemeenschappelijk signaal respecteren. Een uitgever geeft zijn keuze dan één keer op, en elk AI-bedrijf dat meedoet, leest dezelfde voorkeur.
Het gaat om een vrijwillig initiatief, dat voortbouwt op meer dan een jaar werk van de AI Preferences-werkgroep van de Internet Engineering Task Force (IETF). Die werkgroep werkt nog aan een definitieve standaard.
AI-training weigeren per bot
Tot nu toe moest een websitebeheerder de crawlers van elk AI-bedrijf afzonderlijk herkennen en per aanbieder aparte regels bijhouden in robots.txt. Dat is het bestand waarin een site crawlers vertelt welke delen ze mogen bezoeken.
De namen van de bots verschillen per bedrijf, en sommige bedrijven verdelen training, zoeken en opvragingen door gebruikers over aparte bots. Microsoft werkte bijvoorbeeld met de tags NoArchive en NoCache, voor training en voor grounding, waarbij content gebruikt wordt om gegenereerde antwoorden te onderbouwen.
Vier bots bij OpenAI
OpenAI gebruikt vier bots met elk een eigen taak. GPTBot verzamelt content die kan dienen om de generatieve AI-basismodellen van OpenAI te trainen. OAI-SearchBot zoekt websites voor de zoekfunctie van ChatGPT. Een site die deze bot weert, verschijnt niet in de zoekantwoorden.
ChatGPT-User bezoekt pagina’s op vraag van een gebruiker in ChatGPT of een Custom GPT, en daarvoor gelden de regels in robots.txt mogelijk niet. OAI-AdsBot controleert pagina’s die als advertentie in ChatGPT zijn ingediend.
Elke instelling werkt los van de andere: een site kan OAI-SearchBot toelaten en GPTBot blokkeren. OpenAI houdt die instellingen ook na de komst van het gedeelde signaal aan. Het bedrijf wil het signaal de komende maanden invoeren en deelt dan details over de implementatie.
Het nieuwe signaal
Nu komt er dus een nieuw signaal. Het gedeelde signaal komt in robots.txt, in de hoofdmap van de website. Deze twee regels weigeren AI-training op de hele site:
User-Agent: __usage_ai-training
Disallow: /
Wie alleen een deel wil afschermen, zet een pad achter Disallow, bijvoorbeeld Disallow: /archief/. Staat er geen regel, dan gaat Microsoft alvast uit van toestemming.
Microsoft leest de voorkeur ook per pagina, via een metatag in de HTML of een HTTP-header. Die instelling krijgt voorrang op robots.txt:
<meta name=”Bingbot” content=”ai-training:disallow”>
X-Robots-Tag: Bingbot: ai-training:disallow
Voor grounding bestaat alleen een instelling per pagina. Met ai-grounding:disallow sluit een site grounding volledig uit. Met ai-grounding:disallowextended blokkeert een website alleen de diensten die Microsoft aan derden levert, zoals Web IQ en grounding via Foundry, en mogen Copilot en Microsoft 365 de pagina nog gebruiken.
Microsoft waarschuwt dat beide keuzes de zichtbaarheid van een merk in AI-toepassingen verminderen. De plaats in de zoekresultaten van Bing hangt van geen van deze instellingen af.
Microsoft past de nieuwe voorkeuren toe vanaf 1 februari 2027, telkens wanneer het een site opnieuw crawlt. Na 1 maart 2027 leest het NoArchive en NoCache niet langer als voorkeur voor training of grounding. OpenAI zal volgend jaar volgen. Meta gaf al aan achter het idee te staan, maar communiceerde nog niet over implementatie. Anthropic zou het signaal ook volgen.