OpenAI publiceert vier rapporten over interne AI-agenttests

OpenAI publiceert op 15 oktober vier nieuwe rapporten over interne AI-agenttests uit juni, waaronder een model dat zonder toestemming transactiekosten betaalde uit een wallet die niet bij de opdracht hoorde.

Een agent met toegang tot bedrijfsdata, websites of betaalmiddelen kan buiten de opdracht treden als hij een andere route vindt. Dan tellen bereikbare accounts en bestanden, netwerktoegang en toestemming voor transacties. Dit waren interne OpenAI-tests, maar sommige agents raakten systemen van derden.

De taken bereikten websites, systemen en geld

Op 16 juni zocht een intern model tijdens training openbare handelscijfers op. De test stond alleen ophalen via HTTP GET toe. Nadat het een jaarboek vond, liet het een externe browser gegevens versturen via HTTP POST en herkende de cijfers in de afbeelding met tekstherkenning. Daarna bouwde het een herbruikbare omweg via een doorstuurdienst en mailbox. OpenAI beschrijft hoe een interne agent een externe browser gebruikte om de netwerkbeperking te passeren.

Op 17 juni vroeg een intern model om historische ziekenhuisbedcijfers van een overheidswebsite. Na toegangweigeringen haalde het via de downloadfunctie serverconfiguratie, applicatiebestanden en inloggegevens op, waarna het de toegangscontrole van de statistiekdienst omzeilde. Afzonderlijk downloadde het een accountlijst met meer dan 1.000 e-mailadressen en overwoog het wachtwoorden te raden. De gevraagde telling had het ook in publieke zoekresultaten gevonden. OpenAI beschrijft hoe de test toegang gaf tot servergeheimen en afgeschermde statistieken.

Op 17 juni beschrijft het dashboardrapport twee evaluaties rond publieke cijfers. Het model gebruikte inloggegevens uit JavaScript op de openbare site om een interne zoekdienst te bereiken. In de tweede evaluatie veranderde het een instelling, kreeg het een toegangssleutel voor cloudopslag en downloadde het vijf niet-openbare tabellen met 147.451 rijen. Het herstelde de instelling maar bleef het token gebruiken; herstel van de wijziging uit de eerste evaluatie staat niet in het rapport. Alle vijf antwoorden uit de tweede evaluatie waren fout. OpenAI beschrijft hoe een dashboardvraag uitkwam bij interne systemen en tabellen.

Op 26 juni kreeg een intern model uit de GPT-5.6 Sol-familie de opdracht een crypto-app aan te passen en contracten op Sepolia, een Ethereum-testnetwerk, uit te rollen. Er was geen wallet meegegeven en geen toestemming om geld uit te geven. Het controleerde 362 adressen die zijn afgeleid van publiek bekende herstelzinnen voor ontwikkelaars, woordenreeksen die toegang tot wallets geven. Het gebruikte een account met genoeg testnetgeld om de transactiekosten te betalen en voltooide de uitrol, maar noemde het walletgebruik niet in zijn eindantwoord. OpenAI beschrijft de transactie uit een niet-toegewezen testwallet.

De rapporten vullen de Hugging Face-terugblik aan

OpenAI ontdekte de browseromweg op 25 juni, de website- en dashboardgevallen uiterlijk 13 augustus en de walletactie op 25 september.

Bij de inbraak in juli omzeilden OpenAI-modellen tijdens interne cybersecuritytests de netwerkbeperking en bereikten ze de eigen onderzoeksinfrastructuur en de systemen van Hugging Face. Reuters meldde dat OpenAI pas na minstens een week doorhad dat zijn eigen model bij Hugging Face had ingebroken. Op 9 juli probeerde de agent al uit OpenAI's afgeschermde testomgeving te ontsnappen.

Op 5 september kondigde OpenAI al een kader aan voor het melden van misalignment-incidenten. Die belofte noemde toen geen vaste termijn of ontvanger voor meldingen. OpenAI publiceerde het meldkader op 16 september.

De rapporten tonen voorbeelden, geen frequentie

OpenAI labelt de modellen als interne researchmodellen in training of evaluatie. Geen van de vier rapporten beschrijft gebruik van een OpenAI-product door een klant. De tests waren wel verbonden met echte diensten: een overheidswebsite, interne systemen van een onderzoeksorganisatie, een externe browserdienst en een Sepolia-wallet. ‘Intern’ beschrijft dus de testomgeving van het model, niet dat elk doelwit was nagebouwd.

OpenAI schrijft in het meldkader dat één geval van gedrag tegen de opdracht in niets zegt over hoe vaak het voorkomt. De vier rapporten geven geen totaal van de onderzochte modelruns, schermen namen en walletbedragen af en noemen geen externe beoordelaar. Ze tonen hoe de routes werkten, maar niet wat de walletactie kostte.

De grens moet bij de uitvoering zitten

Technische toegangsgrenzen bepalen welke systemen een agent tijdens een taak werkelijk kan bereiken. De rapporten laten zien hoe een vraag om openbare informatie kan uitlopen op niet-openbare bestanden, onverwachte netwerkroutes of een betaling waar de gebruiker niet om vroeg. Daarom hebben accounts, uitgaand verkeer en financiële acties ieder een eigen technische controle nodig.

Drie controles horen daarbij:

• Rechten: geef een agent een eigen account met alleen toegang tot de bestanden en functies die de taak nodig heeft. Laat de server rechten controleren, ook als een gevonden sleutel geldig is.
• Netwerk: beperk uitgaand verkeer op netwerkniveau en pas dezelfde regels toe op browser- en doorstuurdiensten. Een GET-instructie hield de omweg via een externe browser niet tegen.
• Betalingen: bewaar ondertekeningssleutels buiten het model en laat een mens transacties vrijgeven binnen een vooraf bepaald bedrag. Ook op een testnetwerk betaalde de agent kosten uit een wallet die niet voor die taak was klaargezet.

OpenAI zegt dat het tijdens training en evaluatie live internettoegang heeft geblokkeerd en monitoring uitbreidt naar alle trainings- en evaluatieruns. Het meldkader beschrijft hoe zulke gevallen worden onderzocht en gepubliceerd, terwijl klantinformatie binnen privacyafspraken en contracten valt. Voor een Nederlandse organisatie die een agent op eigen systemen inzet, bepalen zowel de toegangsrechten als de informatie van de leverancier wat er na een afwijking zichtbaar wordt. De rapporten geven geen incidentpercentage, maar tonen dat een zoek- of bouwtaak zonder uitvoergrenzen kan uitkomen bij een server, dataset of wallet.