AI-aanbieders steunen gedeeld robots.txt-trainingssignaal

Microsoft, Google, OpenAI en Anthropic steunen volgens MLex een gedeeld robots.txt-signaal waarmee uitgevers AI-training kunnen weigeren, al is de IETF-tekst nog een draft.

Voor Nederlandse uitgevers, webshops en softwarebedrijven met openbare handleidingen kan één voorkeur straks meerdere trainingscrawlers tegelijk bereiken. Dat bespaart aparte regels, maar bepaalt niet automatisch of een AI-dienst de pagina nog mag gebruiken om een antwoord te onderbouwen. Alleen het eerste gebruik valt onder het gezamenlijke voorstel.

De IETF-draft gaat alleen over training

De deelnemende bedrijven werken aan een gemeenschappelijke voorkeur in robots.txt. Een websitebeheerder hoeft dan niet voor elke aanbieder een aparte instructie voor modeltraining bij te houden. De IETF-draft beschrijft een gedeelde, machineleesbare trainingsvoorkeur die op een website of pad kan gelden. De tekst verscheen op 30 oktober als Internet-Draft. Kevin Kelley staat als auteur vermeld met Anthropic als affiliatie; de IETF benadrukt dat deelnemers individueel bijdragen. De werkgroep werkt nog aan de standaard, dus de precieze vorm kan veranderen.

De aankondigingen noemen verschillende termijnen. OpenAI wil het signaal in de komende maanden toepassen. Google mikt samen met andere aanbieders op 2027, terwijl Microsoft vanaf 1 februari nieuwe voorkeuren toepast zodra Bing de pagina opnieuw crawlt. Dat zijn toezeggingen met uiteenlopende planning, geen gezamenlijke omschakeldatum.

AI-training betekent hier het aanpassen van de modelparameters. Grounding haalt inhoud op om een antwoord op dat moment te onderbouwen. Die tweede voorkeur valt nog buiten de gezamenlijke regel.

De aanbieders houden eigen schakelaars

Google gebruikt al Google-Extended, een robots.txt-token voor Gemini-training en grounding in Gemini Apps en Vertex AI. Het verandert de opname in Google Search niet. Google wil een gedeelde trainingsweigering als een Google-Extended-blokkade behandelen wanneer een site geen aparte regel opgeeft. Daardoor kan die weigering ook grounding raken. De Google-documentatie beschrijft de reikwijdte van Google-Extended.

OpenAI scheidt GPTBot, dat pagina’s verzamelt voor mogelijke modeltraining, van OAI-SearchBot, dat sites vindbaar maakt in ChatGPT Search. Een website kan GPTBot weigeren en OAI-SearchBot toelaten. De bestaande OpenAI-crawlerregels laten die keuze per bot toe. OpenAI’s nieuwe aankondiging gaat over het gedeelde trainingssignaal; zij noemt geen aparte gedeelde instelling voor grounding.

Anthropic beschrijft eveneens afzonderlijke crawlers: ClaudeBot verzamelt inhoud voor modelontwikkeling, Claude-User haalt pagina’s op na een gebruikersvraag en Claude-SearchBot ondersteunt Claude Search. Beheerders kunnen de bots afzonderlijk in robots.txt beperken. De Anthropic-documentatie legt de taken van de crawlers en de bestaande blokkade uit. De gedeelde IETF-regel verandert die bestaande taakverdeling niet vanzelf.

Microsoft voegt eigen training- en groundingvoorkeuren op verschillende niveaus toe en laat die vanaf 1 februari 2027 ingaan bij recrawl. Training geldt per site, pad of pagina en een pagina-instelling kan robots.txt overrulen. Grounding heeft alleen een instelling per pagina. Allow staat gebruik toe, Disallow blokkeert het en DisallowExtended beperkt het tot Microsoft-diensten zoals Copilot en Microsoft 365, niet tot derden via Web IQ of Foundry. De voorkeuren veranderen Bing-resultaten niet en vervangen NoArchive en NoCache voor AI-training en grounding.

Bing geeft oude tags een overstapdatum

De overstap is vooral relevant voor sites die NoArchive of NoCache al gebruiken. Microsoft begint de nieuwe voorkeuren vanaf 1 februari 2027 toe te passen wanneer Bing pagina’s opnieuw ophaalt. Wie oude tags gebruikt, moet de nieuwe trainingskeuze in robots.txt of per pagina vastleggen. Om groundingbeperkingen te behouden, moet de site ook een nieuwe paginavoorkeur instellen en uiterlijk 1 maart 2027 een tijdelijke keuze in Bing Webmaster Tools vastleggen.

De tijdelijke Bing-instelling is vanaf 15 december beschikbaar voor sites die dan NoArchive of NoCache gebruiken. Per pagina geldt ze tot Bing de nieuwe instructie aantreft of tot 30 september 2027, afhankelijk van wat eerder gebeurt. Zonder die tijdelijke keuze kan grounding vanaf 1 maart op Allow staan totdat Bing een nieuwe crawl uitvoert. IndexNow kan die crawl helpen uitlokken, maar Microsoft geeft geen vaste datum.

Bij een Nederlandse site met duizenden product- of kennisartikelen kan Bing de overgang daarom per pagina pas verwerken wanneer elke pagina opnieuw is opgehaald. Oude metadata wordt niet vanzelf naar een nieuwe voorkeur vertaald.

De instellingen vervangen het auteursrecht niet

Cloudflare introduceerde op 15 september losse instellingen voor Search, AI-training en AI-agenten. In augustus synchroniseerde Cloudflare deze dashboardkeuzes al naar robots.txt. De nieuwe IETF-regel mikt op één gedeelde trainingsvoorkeur; Cloudflare zegt dat zijn instellingen naast de standaard in ontwikkeling werken. De Cloudflare-aankondiging beschrijft de drie afzonderlijke instellingen.

Dit is een operationele route naast de juridische. Op 29 oktober dienden AAP, CCC, IBPA en STM een amicusbrief in die het verzoek van de eisers om summary judgment steunt. Zij vragen de rechter de fair-useverweren van OpenAI en Microsoft af te wijzen. Dat is het verzoek van de vier organisaties om OpenAI’s fair-useverweer voor modeltraining af te wijzen. Op 30 oktober diende Wikimedia een voorstel in dat modeltraining en het ophalen van bronnen voor antwoorden, vaak RAG genoemd, als verschillende fair-usevragen behandelt. De Wikimedia-vraag om training en retrieval afzonderlijk te toetsen laat die lijn zien. Beide documenten bevatten standpunten in een Amerikaanse zaak, geen rechterlijke uitspraken. Het robots.txt-signaal geeft een voorkeur voor toekomstig crawlergebruik door.

De IETF-regel bepaalt geen licentieprijs en maakt eerder gebruik niet met terugwerkende kracht rechtmatig. Microsoft waarschuwt ook dat een voorkeur geen garantie geeft op opname, verkeer of betaling. De ontwikkeling maakt de keuze voor modeltraining wel overdraagbaarder tussen platforms, terwijl grounding, crawlernaleving en afspraken over content per aanbieder of contract blijven verschillen. De eerste grote praktijktest volgt in 2027, wanneer de aangekondigde implementaties daadwerkelijk in crawlers terechtkomen.