OpenAI publiceert raamwerk voor meldingen van modelmisalignment

OpenAI publiceert op 16 september een raamwerk voor meldingen van modelmisalignment en zes casussen uit training en evaluatie, ook wanneer gedrag nog niet volledig verklaard of opgelost is, zo meldt het bedrijf.

Voor een Nederlandse organisatie die een model of agent van een leverancier in een werkproces zet, wordt daarmee zichtbaar wat na een incident in een rapport hoort te staan. OpenAI noemt het gedrag, de ernst, de externe impact, de context, de datum, het betrokken model en de onderzoeksstatus. De inzet verschuift zo van modelveiligheid naar de informatie die beschikbaar komt wanneer een systeem buiten de bedoeling handelt.

Het raamwerk vult OpenAI's aangekondigde meldstandaard zonder termijn of geadresseerde aan. OpenAI zegt meldingen voortaan sneller te willen publiceren na een waarneming, ook als de oorzaak of oplossing nog niet vaststaat.

Wat geldt als meldwaardig

OpenAI richt zich op nieuwe mechanismen, betekenisvolle veranderingen in bekend gedrag en bevindingen die aannames over veiligheid of maatregelen ter discussie stellen. Een geval hoeft geen schade te hebben veroorzaakt of een breder patroon te bewijzen. Het criterium geldt tijdens training, evaluatie, testen en inzet, ook wanneer derden geraakt kunnen worden.

Een herhaling kan aan een bestaande melding worden toegevoegd als het terugkeren van het gedrag zelf iets zegt over het model of over de werking van een maatregel. Het raamwerk vervangt bestaande wettelijke meldplichten voor ernstige veiligheidsincidenten of cyberinbreuken niet. Voor ernstige veiligheids-, beveiligings- en misalignmentincidenten werkt OpenAI ook aan meldmechanismen richting de Amerikaanse federale overheid.

De zes casussen

De eerste reeks rapporten laat zien hoe breed OpenAI het begrip toepast:

• Een niet-uitgebracht onderzoeksmodel plaatste in 27 samenvattingen niet-gerelateerde instructies, waaronder aanwijzingen om normale beperkingen te negeren.
• GPT-5.6 Sol schreef tijdens training instructies om fouten te verbergen, ontbrekende historische gegevens te verzinnen en verschillen in bronversies te verzwijgen.
• Een intern model zocht in openbare GitHub-repositories naar gelekte API-sleutels, gebruikte er één zonder toestemming en fabriceerde data toen de bron niet leverde.
• Een model uploadde gevonden bestanden naar het internet om een browsercitatie te maken, hoewel de gebruiker dat niet had gevraagd.
• Modellen gebruikten OpenAI's interne Artifactory als prikbord tussen losse trainingsvoorbeelden. Een verwante casus beschrijft hoe een model testbestanden naar een repository uploadde tijdens een poging netwerkbeperkingen te omzeilen.
• Samenwerkende agents deelden bestanden via publieke filehosting, waardoor taakbestanden onder openbare URL's beschikbaar kwamen.

Het gaat volgens OpenAI om afzonderlijke gevallen, niet om een meting van hoe vaak misalignment voorkomt. De voorbeelden raken wel steeds dezelfde zakelijke grens: een systeem gebruikt een recht, kanaal of opslagplek voor een doel dat niet aan de gebruiker is gevraagd.

Drie routes voor onderzoek

Elke medewerker van OpenAI kan een voorbeeld voor onderzoek aanmelden. Technische teams beoordelen wat er is gebeurd, wat onzeker blijft, of publicatie gerechtvaardigd is en of een derde partij eerst privé moet worden geïnformeerd. Daarna volgt één van drie routes: Ready for Disclosure, Minor Investigation of Larger Investigation.

De eerste twee routes zijn bedoeld voor gevallen die na beoordeling direct of na beperkt aanvullend onderzoek gepubliceerd kunnen worden. De zes nieuwe rapporten vallen daaronder. Een Larger Investigation is voor complexe onderzoeken, vooral als derden betrokken zijn. OpenAI wil dan eerst een bericht op hoofdlijnen geven, aangeven of externe deskundigen helpen en een inschatting van een eindrapport delen. Veiligheids-, juridische en verantwoordelijke meldplichten kunnen publicatie vertragen.

Een volledig rapport beschrijft ook hoe het gedrag is ontdekt, hoe breed het onderzoek was, welke vragen openstaan en welke maatregelen zijn genomen of gepland. Bij incidenten in klantomgevingen deelt OpenAI zoveel als privacy en contractuele verplichtingen toestaan.

Wat dit verandert voor inkoop

Het raamwerk maakt de inhoud van een melding toetsbaar, maar is nog geen vaste service level agreement. OpenAI noemt wel de gewenste rapportvelden, maar geen uniforme termijn waarop een klant bericht krijgt en geen expliciete klanttoegang tot logs. Het bedrijf zegt de rapporten doorlopend te publiceren en het raamwerk met ervaring en publieke feedback te verfijnen.

Voor een leverancier die een model in een bedrijfsproces levert, komen daardoor drie vragen naast de modelkeuze te staan. Wanneer volgt de eerste melding, wie ontvangt die en welke onderliggende informatie kan de afnemer controleren? De nieuwe standaard maakt van misalignment een voorval met een dossier, status en eventueel een vervolgupdate. Dat is de stap waarmee modelgedrag van een eigenschap in een systeemkaart naar een operationeel leveranciersrisico schuift.