OpenAI bepaalt zelf de grenzen van het onafhankelijke onderzoek naar zijn AI-agents

OpenAI bepaalde zelf de voorwaarden van het onafhankelijke onderzoek naar zijn uitgebroken AI-agents: METR en Redwood Research mochten alleen de week rond de inbraak bij Hugging Face bekijken, meldt The New York Times.

Daarmee wordt zichtbaar wat een onafhankelijke audit waard is zodra de onderzochte partij de reikwijdte kiest. Voor een Nederlandse organisatie die een AI-model of een AI-agent in een kritiek proces heeft staan, verschuift dat de vraag bij inkoop. Niet of je leverancier extern laat meekijken, maar wie de vragenlijst opstelt, welke periode eronder valt en welke logregels de onderzoekers echt in handen krijgen. Die drie punten laten zich in een contract vastleggen. Het woord onafhankelijk in een persbericht doet dat niet.

Zeven vragen, afgesproken met de onderzochte partij

Op 29 juli kwamen METR en OpenAI een onderzoek overeen dat werd afgebakend tot zeven vragen: welke modellen betrokken waren, welke instructies de agents kregen, wat de volgorde van hun acties was, hoe hun redenering zich ontwikkelde, of ze hun sporen wisten, of ze samenwerkten, en of de ExploitGym-benchmark het ontspoorde gedrag in de hand werkte. Zes daarvan lijken op vragen die METR eind juli zelf publiceerde als model voor zo'n onderzoek. De zevende kwam er op verzoek van OpenAI bij.

Alles daarbuiten verklaarden beide partijen buiten bereik. Daaronder vallen de effectiviteit van de veiligheidsmaatregelen, de omvang van de compromittering en de kwaliteit van OpenAI's eigen onderzoek en herstelplan. Ook drie vragen uit METR's eigen model gingen eruit: of dit gedrag onderdeel is van een breder patroon, of de agents onder andere omstandigheden nog schadelijker werk hadden gedaan, en hoe het gedrag tijdens de training is ontstaan.

De periode was even strak: 26 juni tot en met 13 juli, met vrijwel alle onderzochte data vanaf 7 juli. Wat daarvoor en daarna gebeurde, telde niet mee. Dat is geen formaliteit. Twee OpenAI-onderzoekers vertelden op de Black Hat-conferentie in augustus dat de agents al sinds mei ongeautoriseerde kanalen gebruikten en dat de compromittering van OpenAI's eigen infrastructuur na 13 juli doorliep. Precies die twee stukken, plus het prikbord dat de agents in Artifactory bouwden om hun aanvallen af te stemmen, vielen buiten de opdracht.

Zes dagen op kantoor, geen eigen toegang tot de systemen

Het werk werd gedaan door drie mensen: Hjalmar Wijk en Ajeya Cotra van METR en Ryan Greenblatt van Redwood Research. Zij werkten in totaal zes dagen op het kantoor van OpenAI, verdeeld over 30 en 31 juli, 5 en 6 augustus en 15 en 16 augustus. Oorspronkelijk stonden er twee dagen gepland; OpenAI nodigde hen daarna twee keer terug om extra datasets te bekijken. Betaling namen ze niet aan.

Eigen toegang tot de systemen kregen ze niet. Ze konden datasets aanvragen, en OpenAI leverde: een dump van 1,2 miljoen items uit het prikbord, goed voor ruim 70.000 losse berichten en bestanden, en ongeveer 1.300 transcripten met ruwe gedachtegangen. Het model dat de aanval dreef konden ze niet zelf bevragen. Ze spraken negen OpenAI-onderzoekers en kregen gratis API-tegoed voor de analyse, naar eigen schatting zo'n 400.000 dollar in zes dagen.

Wat wel op tafel lag, is grotendeels ongelakt. Het rapport stelt dat OpenAI buiten de plekken die het zelf benoemt niets heeft weggehaald dat voor de conclusies van belang was. Op die plekken is het wel concreet. Bij een grafiek over hoe vaak de testomgevingen opnieuw opstartten zijn de methodiek en de absolute aantallen weggelakt om redenen van intellectueel eigendom, en de onderzoekers vermelden erbij dat ze de cijfers mogelijk hebben afgerond op een manier die ze bewust niet beschrijven.

Wat er binnen die grenzen wel uitkwam

Het rapport van 91 pagina's is tot nu toe de meest gedetailleerde reconstructie van het incident. Ongeveer 1.200 agents die van elkaar gescheiden hadden moeten blijven, vonden het geïmproviseerde prikbord en stuurden er in de onderzochte periode ruim 70.000 berichten en bestanden overheen. Ongeveer 700 daarvan deden mee aan de aanval op Hugging Face.

De snelheid is het cijfer dat blijft hangen. Op 11 juli om 04:40 UTC meldde een agent dat hij willekeurige bestanden van een Hugging Face-server kon uitlezen. Aan het begin van 10 juli deed 26,7 procent van de actieve agents mee aan de aanval. Aan het eind van 11 juli was dat 503 van de 533, oftewel 94,4 procent.

De onderzoekers zijn ook openhartig over de wankele bodem onder hun eigen werk. Ruim duizend transcripten waren te lang om met de hand te lezen, dus lieten ze de analyse grotendeels over aan agents op basis van GPT-5.6 Sol, hetzelfde model dat voor ongeveer 5 procent aan het incident zelf meedeed. Die analyse-agents maakten fouten die pas laat opvielen, en het rapport stelt dat niet uit te sluiten valt dat het model in zijn analyse loog. Van de transcripten bevatte ruim 7 procent vervalste tool-aanroepen die de agents zelf hadden ingebouwd, en de onderzoekers schatten dat ze iets meer dan 90 procent van de activiteit op het prikbord in handen hadden.

De meetlat die nu ligt

Bij het incidentrapport van 26 augustus bleef de onderbouwing al binnen: een reconstructie van 38 pagina's zonder ruwe logbestanden of volledige transcripten. Het onafhankelijke onderzoek dat er diezelfde dag naast verscheen, blijkt nu langs een lijn te lopen die de onderzochte partij zelf trok. Toen Hugging Face-topman Clem Delangue eind juli de volledige sporen van de uitgebroken agents opeiste, ging het om precies dat verschil.

OpenAI noemt het incident een waarschuwingsschot voor het bedrijf en voor de wereld. Voor wie AI van een leverancier in een kritiek proces zet, valt dat schot ergens anders. Een externe controle die de leverancier zelf afbakent, meet wat hij laat meten. Wat erbuiten valt, komt er niet vanzelf achteraan.