Anthropic geeft zes METR-onderzoekers interne toegang

In een aankondiging van 15 oktober geeft Anthropic zes METR-onderzoekers toegang tot interne hulpmiddelen en systemen op werknemerniveau, met publicatierecht over risico’s, incidenten en werkwijzen.

Voor een Nederlandse organisatie die Claude in een product, klantenservice of interne agent inzet, maakt dit de claim “extern getoetst” concreter. De relevante verandering zit in wat een evaluator mag zien en publiceren, plus de informatie die buiten de afspraak valt. Dat maakt toegangs- en publicatievoorwaarden relevant bij leveranciersselectie, zonder dat er een nieuw keurmerk of een wettelijke plicht ontstaat.

Zes METR-medewerkers krijgen toegang

Anthropic nam zes METR-medewerkers op in een klein team, met bedrijfslaptops, kantoorruimte en interne hulpmiddelen en systemen op ongeveer het niveau van de eigen risicoteams. Medewerkers zijn aangemoedigd informatie te delen zoals met een collega in het team voor modelafstemming en risicobeheersing. TechCrunch beschrijft dezelfde toegang en werkplek voor de zes onderzoekers.

Die toegang is begrensd. Klantgegevens, informatie onder het advocaat-cliëntprivilege en details over modelarchitecturen vallen buiten de standaardtoegang. Anthropic noemt architectuurinformatie gevoelig voor onbedoelde lekken en meestal weinig relevant voor een risicoanalyse. Als zulke informatie wel van belang is, zegt het bedrijf die doorgaans te willen delen na expliciete interne goedkeuring. De aankondiging geeft niet aan wie die noodzaak beoordeelt of hoe snel een besluit volgt.

De afspraak geldt voor een beperkt team onder afdwingbare overeenkomsten. Andere METR-medewerkers, ook onderzoekers die met Anthropic aan andere projecten werken, blijven afgeschermd van dit werk. De samenwerking zelf is ouder: Anthropic zegt het afgelopen jaar al met METR te hebben gewerkt aan meerdere beoordelingen van zijn risicorapporten. De nieuwe stap is dat een klein METR-team nu in het bedrijf zelf toegang krijgt.

METR mag publiceren, met smalle uitzonderingen

METR mag eigen analyses publiceren over Anthropics risiconiveaus, incidenten en werkwijzen. Anthropic kan publicatie niet tegenhouden. Het bedrijf mag wel informatie laten weglakken als die onder een klein aantal vooraf omschreven categorieën valt, zoals klantgegevens, geprivilegieerde communicatie en modelarchitectuur. METR mag vervolgens openbaar beschrijven welke redactie plaatsvond en of de organisatie die terecht vindt, zolang de weggelakte informatie zelf geheim blijft.

Anthropic verdeelt externe evaluaties in drie niveaus. In het eerste niveau bepaalt Anthropic welke toegang een evaluator krijgt en mag die evaluator bevindingen alleen met goedkeuring publiceren. SecureBio werkt op dit niveau en beoordeelt het hoofdstuk over chemische en biologische wapens in Anthropics risicorapport van augustus. Daarvoor publiceerde SecureBio al een proefbeoordeling van een eerder rapport.

Het tweede niveau geeft evaluatoren meer informatie en ruimte om zonder toestemming te publiceren, maar Anthropic kan nog steeds specifieke gegevens laten redigeren. METR zit op het derde niveau: diezelfde publicatierechten komen samen met toegang op werknemerniveau. Anthropic zegt op termijn meerdere teams op dat niveau te willen, elk met een eigen analyse van de risico’s en belangrijke besluiten. Voor andere partners zijn de toegang en publicatierechten voorlopig beperkter. Anthropic zegt ook met meerdere organisaties te spreken, onder wie Hugging Face; die gesprekken zijn nog pril.

Van sectoroproep naar afspraken per lab

De brede oproep om frontier-labs onafhankelijke evaluatoren toegang op werknemerniveau en publicatierecht te geven stelde die voorwaarden al aan de orde. De brief van het AI Evaluator Forum noemt toegang, methodologische vrijheid, redactionele controle en belangenconflicten als voorwaarden voor onafhankelijke evaluatie. De METR-afspraak maakt een deel daarvan concreet bij één leverancier, maar beschrijft nog niet alle voorwaarden die evaluatoren en inkopers kunnen vergelijken.

Anthropic zette eerder al een tweede spoor op met Accenture-dochter Faculty. In die samenwerking verwachten Anthropic en Accenture elk minstens 1 miljard dollar over vijf jaar in evaluatiecapaciteit te investeren. Anthropic schreef toen dat toegangs- en rapportagestandaarden nog moesten worden uitgewerkt; de nieuwe aankondiging beschrijft voor METR wel een toegangsniveau en redactiegrenzen, maar geen algemene standaard voor andere labs. De eerste afspraak met Faculty liet ook zien dat die werkafspraken toen nog niet vastlagen.

OpenAI publiceerde op 22 september zeven principes voor externe veiligheidstoetsen, waaronder afgebakende claims, proportionele toegang, onafhankelijkheid en veilige publicatie. De principes noemen ook dat bevindingen zo open mogelijk gedeeld moeten worden, met bescherming van gevoelige informatie. OpenAI zegt met meerdere partijen te spreken, maar noemt in die publicatie geen nieuwe evaluatoren. De uitgangspunten van OpenAI voor toetsing van veiligheidsclaims, beveiligingen en incidenten laten zien hoe een tweede lab de voorwaarden formuleert.

De eerste beoordeling moet de grenzen tonen

Anthropic vergelijkt de werkwijze met toezichthouders die in de grootste banken zijn gestationeerd, maar noemt de samenwerking vrijwillig. De overeenkomst geeft METR geen wettelijke toezichtsrol; het krijgt toegang en publicatierechten bij één leverancier. Anthropic presenteert dit dus niet als een bindende norm voor Nederlandse afnemers of als algemeen keurmerk voor Claude.

De aankondiging maakt de status van de evaluatie nog niet volledig toetsbaar. Anthropic noemt geen publicatiedatum, contractduur, vergoeding of afgesproken evaluatiemethode. Het bedrijf zegt wel dat onafhankelijke evaluatoren financieel en operationeel onafhankelijk moeten zijn, maar licht niet toe hoe die onafhankelijkheid bij deze opdracht is ingericht. Ook de interne goedkeuring voor informatie over modelarchitecturen is niet verder uitgewerkt.

De eerste METR-publicatie moet laten zien welke risico’s en werkwijzen zijn onderzocht, welke informatie het team kon inzien en wat er is geredigeerd. Tot die uitkomst er is, is de concrete ontwikkeling de toegang zelf en het recht om bevindingen te publiceren. Voor een organisatie die AI-leveranciers vergelijkt, blijft dat onderscheid bepalend: een evaluatie zegt pas iets over het bewijs wanneer ook de reikwijdte en de uitzonderingen zichtbaar zijn.