Alisina NawabiMeta schrapt de expliciete verwijzing naar ‘train’ uit de nieuwe crawlvoorwaarden en noemt advertentie- en zakelijke producten als gebruiksdoel, terwijl de crawlpassage blijft staan, meldt TechCrunch.
Voor bedrijven die Meta zakelijk gebruiken, blijven gekoppelde websites in de voorwaarden staan als bron die crawlers mogen benaderen. De aangepaste voorwaarden gaan op 30 oktober in. Een webshop, supportsite of productcatalogus kan onder de bepaling vallen wanneer domeinen of URL’s aan zakelijke producten of diensten zijn verbonden.
De crawlclausule blijft staan
Meta’s actuele voorwaarden geven toestemming voor geautomatiseerde toegang tot gekoppelde domeinen, webpagina’s en URL’s. De crawlclausule noemt webscrapers, bots en crawlers. Meta kan deze software gebruiken om pagina’s te benaderen, indexeren, cachen, analyseren, verzamelen, op te halen of te crawlen. De tekst gaat over pagina’s die samenhangen met producten of diensten van een zakelijke gebruiker, of via het gebruik van Meta-producten beschikbaar komen. Ook het periodiek ophalen van updates staat erin.
Dezelfde bepaling noemt doelen: Meta mag de informatie gebruiken om advertentie- en zakelijke producten te leveren, ontwikkelen, verbeteren, onderzoeken en onderhouden. De voorbeelden zijn het maken van advertenties en commerciële inhoud, het geven van productinformatie aan gebruikers en het verbinden van geïnteresseerde gebruikers met bedrijven. De clausule laat daarnaast gebruik toe voor de integriteit en beveiliging van Meta Company Products. In de crawlclausule staan de woorden AI en training niet meer. Het woord ‘ontwikkelen’ blijft wel in de opsomming staan.
Meta zegt in zijn uitleg bij de herziening dat de Product Catalog Terms naar de Commercial Terms gaan en de Ad Creative Generative AI Terms naar de Self-Serve Ad Terms. Volgens het bedrijf moet die herindeling overlap verminderen en de voorwaarden verduidelijken.
De vorige versie noemde training
In de gearchiveerde voorwaarden van 5 oktober stond ‘train’ naast leveren, ontwikkelen, verbeteren en onderzoeken als gebruik van opgehaalde websitecontent. Die formulering stond centraal toen Meta’s commerciële voorwaarden AI-modeltraining met content van gekoppelde websites expliciet als toegestaan gebruik noemden. De voorwaarden geven geen overzicht van websites die Meta al heeft opgehaald of content die in trainingsdatasets zit.
Nieman Lab meldde op 15 oktober dat drie juristen de eerste tekst lazen als een mogelijke grondslag voor het scrapen van websites die aan zakelijke accounts zijn verbonden. Een dag later, op vrijdag 16 oktober, paste Meta de formulering aan, voegde geen losse opt-out toe en liet volgens juristen vragen open over de reikwijdte van ‘ontwikkelen’ en mogelijk AI-training.
De reactie vanuit de uitgeverssector richt zich op het verschil tussen ophalen en gebruiken. Een woordvoerder van de Amerikaanse News/Media Alliance zei tegen The Mercury News dat de wijziging volgens hem vooral beperkt waarvoor Meta de opgehaalde inhoud mag gebruiken, terwijl de mogelijkheid om die inhoud op te halen blijft staan. Dat is de lezing van een brancheorganisatie, geen uitspraak van een rechter.
Meta zegt dat crawlers gelijk blijven
Meta-woordvoerder Andy Stone schreef op 16 oktober op X dat het gebruik van webcrawlers niet verandert en dat website-eigenaren robots.txt kunnen blijven gebruiken om hun voorkeuren aan te geven. Hij omschreef het doel als actuele informatie ophalen over producten die op externe websites te koop zijn, zodat Meta aanbevelingen voor advertenties en inhoud kan doen. De aangepaste voorwaarden zelf noemen robots.txt niet.
RFC 9309 beschrijft robots.txt als regels voor crawlers en zegt dat het protocol geen toegangsautorisatie is. Die standaard bepaalt niet hoe Meta’s contractuele tekst moet worden uitgelegd. De voorwaarden noemen geen pagina’s die Meta daadwerkelijk zal bezoeken of opgehaalde inhoud die in een trainingsdataset terechtkomt.
Sites krijgen meer crawlerkeuzes
Cloudflare kondigde op 15 september aparte instellingen aan voor zoek-, trainings- en agentcrawlers. Voor nieuwe domeinen die advertenties tonen, is de aanbevolen instelling: zoekcrawlers toestaan, AI-training weigeren en agentcrawlers blokkeren op advertentiepagina’s. Website-eigenaren kunnen zo technische voorkeuren per crawlerfunctie instellen. De Meta-clausule beschrijft daarnaast het contractuele gebruik van gekoppelde websites.
Cloudflare maakt sinds 15 september onderscheid tussen zoek-, trainings- en agentcrawlers. De technische kant van die keuze verschilt per site: robots.txt en Cloudflare-regels kunnen per crawler worden ingesteld.
De crawlclausule noemt AI-training niet meer expliciet. De voorwaarden beschrijven nog steeds toegang tot gekoppelde websites en het periodiek ophalen van updates. Meta zegt dat crawlergedrag niet verandert; juristen houden vragen open over de reikwijdte van de tekst. De aangepaste voorwaarden gelden vanaf 30 oktober en noemen geen domeinen die Meta zal ophalen of content die het daarvoor gebruikt. Voor organisaties blijft de eerste concrete vraag welke websites aan hun zakelijke Meta-gebruik zijn gekoppeld.
Veelgestelde vragen
Jouw kennis blijft vindbaar
Als je bedrijfsinformatie voor AI wilt inzetten, ontwerp en bouw ik de hele kennisomgeving, van meedenken en ontwerp tot automatisering. Self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
