Meta noemt AI-training in crawlvoorwaarden voor websites

Meta’s nieuwe commerciële voorwaarden noemen vanaf 30 oktober crawlrechten voor websites die aan zakelijke accounts zijn gekoppeld en AI-modeltraining als toegestaan gebruik van verzamelde content.

Voor Nederlandse organisaties die Facebook of Instagram zakelijk gebruiken, raakt de wijziging mogelijk ook de eigen website. Het contract koppelt crawlrechten aan websites en URL’s die verbonden zijn met Meta-producten of daar beschikbaar komen. Daardoor kan openbare bedrijfscontent onder de voorwaarden vallen naast berichten die een bedrijf rechtstreeks op Meta zet.

De tekst reikt tot buiten berichten op Meta

De voorwaarden gelden voor commercieel gebruik van Meta-producten, zoals advertenties, verkoop, catalogi, apps en bedrijfspagina’s. Meta mag zo nodig met testaccounts crawlers inzetten. Daarmee kan het gekoppelde domeinen, pagina’s en URL’s openen, indexeren, cachen, analyseren en periodiek opnieuw ophalen. Een ophaalfrequentie of paginalijst ontbreekt.

Meta mag verzamelde inhoud gebruiken om producten en functies te leveren, ontwikkelen, verbeteren, onderzoeken en onderhouden. De tekst noemt ook modeltraining. De tekst kan worden gelezen als toestemming om websitecontent voor AI-training te verzamelen. De clausule zegt niet welke sites Meta daadwerkelijk bezoekt of wat in een trainingsdataset belandt.

Het bedrijf verplaatst de Product Catalog Terms naar de Commercial Terms en de Ad Creative Generative AI Terms naar de Self-Serve Ads Terms. Meta noemt minder overlap en meer duidelijkheid als doel.

De voorwaarden bouwen voort op smallere crawlrechten

Niet alle crawlerrechten zijn nieuw. Meta’s advertentievoorwaarden uit 2024 stonden crawlen toe van URL’s die adverteerders aanleverden voor advertentiediensten. Meta’s verkopersvoorwaarden stonden al testaccounts en toegang toe tot URL’s uit verkoopcontent voor het beheren van productvermeldingen. De algemene commerciële voorwaarden van maart 2024 bevatten geen brede crawlerclausule.

De verandering zit vooral in de plaats en reikwijdte van de tekst. Crawlen was al toegestaan voor afgebakende advertentie- en verkoopdoelen. De nieuwe commerciële voorwaarden plaatsen toegang tot websites en modeltraining in een algemener kader voor zakelijk Meta-gebruik. Ook Meta’s preview voor zelfbedieningsadvertenties bevat de bredere formulering. Ars Technica vergeleek beide versies en vond in de preview dezelfde brede crawlformulering als in de commerciële voorwaarden.

Een webshop, supportsite of kennisbank kan dus in beeld komen als een URL via een zakelijk Meta-product is gekoppeld. De voorwaarden maken niet duidelijk of alleen de ingevoerde pagina meetelt, of ook andere pagina’s op hetzelfde domein.

Robots.txt regelt iets anders dan toestemming

Een contract en een robots.txt-bestand werken op verschillende lagen. Robots.txt geeft crawlers instructies over welke sitepagina’s zij volgens het webprotocol moeten ophalen. RFC 9309 zegt dat die regels geen toegangsbeveiliging zijn. Het bestand stuurt een crawler, maar blokkeert zelf geen netwerkverkeer.

Meta onderscheidt Meta-ExternalAgent voor modeltraining en productverbetering, Meta-WebIndexer voor AI-zoeken en Meta-ExternalFetcher voor links die gebruikers opvragen. Alleen die laatste kan volgens Meta robots.txt omzeilen bij een gebruikersverzoek. Dat bewijst niet dat de trainingscrawler de regels negeert. Een eerdere gids legt uit hoe robots.txt een verzoek blijft en Cloudflare verkeer op netwerkniveau kan blokkeren.

In de eerste helft van 2026 werden Europese robots.txt-instructies 2,8 keer zo vaak genegeerd als die van Noord-Amerikaanse sites, volgens TollBits meting. Dat betreft alleen de onderzochte sites en bots, geen meting van Nederlandse bedrijven. Een robots.txt-regel geeft geen zekerheid over toestemming of naleving.

De juridische lezing blijft open

Meta zegt dat het crawlergedrag niet verandert en dat sites robots.txt kunnen gebruiken. Drie juristen die Nieman Lab sprak vinden de tekst mogelijk ruim genoeg voor scraping en AI-training, maar noemen de juridische reikwijdte onzeker. Er is geen losse opt-out voor deze voorwaarden: bedrijven die bezwaar maken, moeten stoppen met zakelijk Meta-gebruik.

De voorwaarden zeggen niet of testaccounts achter een betaalmuur kunnen komen. Meta verduidelijkte niet of zo’n crawler betaalmuren kan passeren. Dat is relevant voor afgeschermde kennisbanken, maar geen bewijs dat betaalmuren worden omzeild. De juridische lezing blijft betwist, terwijl Meta zegt dat de uitvoering niet verandert.

Cloudflare biedt een instelling waarmee sites AI-training kunnen weigeren en toch door zoekmachines gevonden worden. Die instelling scheidt trainingscrawlers van zoekcrawlers, een onderscheid dat aansluit bij Meta’s eigen crawlerrollen. Een eerdere analyse over AI-fetchers onderscheidt trainingscrawlers, zoekcrawlers en fetchers die één link openen op verzoek.

De eerste concrete stap is een inventarisatie: welke domeinen en pagina’s zijn gekoppeld aan een Meta-account, catalogus, advertentie of app, en welke crawlerregels gelden daar? Vanaf 30 oktober bestaan de contractuele formulering en technische instructies naast elkaar. Wat Meta ophaalt en hoe de voorwaarden juridisch worden uitgelegd, hangt af van de uitvoering en eventuele geschillen.