OpenAI schetst safety cases voor frontier-RL-training

OpenAI deelt op 28 september voorlopige richtlijnen voor safety cases bij frontier-RL-training, met drie technische controlelagen en afspraken om risico’s vóór voortzetting van een trainingsrun te onderbouwen.

Voor Nederlandse organisaties verandert hiermee geen algemene eis voor bedrijfsmodellen: OpenAI beperkt het document expliciet tot training van frontiermodellen via reinforcement learning. Voor inkopers maakt het voorstel wel zichtbaar welk bewijs een ontwikkelaar kan leveren over monitoring, afscherming en incidentonderzoek tijdens die trainingsfase.

Een safety case (veiligheidsdossier) is een gestructureerde, met bewijs onderbouwde redenering dat een trainingsrun binnen aanvaardbare risico’s blijft. OpenAI noemt het een richting waar het naartoe werkt, geen afgeronde standaard. De aanbevelingen worden intern ingevoerd en kunnen de komende weken veranderen.

Drie technische controlelagen

De eerste laag moet voorkomen dat een model tijdens training wordt beloond voor het misbruiken van een fout in zijn omgeving. OpenAI stelt geautomatiseerde en menselijke controles van datasets en trainingsomgevingen voor. Beoordelaars moeten pogingen om tests te omzeilen afstraffen, en onderzoekers moeten sporen uit eerdere runs nalopen om te zien of die beoordeling goed werkt.

Ook wil OpenAI het model tijdens trainingen blijven toetsen. Tests moeten terugkijken naar eerdere incidenten, herkennen of het model zijn gedrag aanpast omdat het een beoordeling vermoedt, en bewust risicovol gedrag uitlokken. Automatische beoordelaars zouden geen toegang krijgen tot het interne denkspoor van het model, zodat het minder kans krijgt toezicht daarop te leren ontwijken.

De tweede laag is afscherming. OpenAI noemt extra beveiligingslagen rond zowel de sandbox waarin een model draait als de onderzoeksinfrastructuur eromheen. Teams zouden beide herhaaldelijk testen op ontsnappingsroutes, ook via diensten die het model tijdens de training kan bereiken. Communicatie tussen modelinstanties moet via goedgekeurde kanalen lopen. Onveranderbare verslagen van trainings- en evaluatieruns moeten achteraf onderzoek mogelijk maken.

De derde laag is live bewaking. Die moet bekende problemen terugvinden in tests die buiten de training zijn gehouden, en regelmatig nieuwe tests krijgen voor nieuwe risico’s. Waarschuwingen moeten binnen een afgesproken termijn tot actie leiden. Als niemand een ernstig alarm oppakt, noemt OpenAI het automatisch stilleggen van de run als mogelijke maatregel.

Besluiten en incidenten vastleggen

OpenAI wil ook interne tegenspraak inbouwen: na het schrijven van een safety case schrijft iemand uit een ander team een tegenlezing. Leidinggevenden moeten de onderbouwing beoordelen en een trainingsrun kunnen blokkeren. Een verantwoordelijke leider wordt aanspreekbaar op zowel de veiligheidsargumentatie als de reactie op incidenten.

De safety case hoort ook resterende risico’s te noemen die nog geen maatregel afdekt. Auditors moeten voldoende toegang krijgen om claims te controleren en hiaten te melden.

Als een nieuw probleem de safety case onderuit haalt, moeten procedures en technische middelen het pauzeren van de betrokken runs mogelijk maken. Een run mag niet starten zonder bewaking en het model mag de monitor tijdens training niet zelf uitschakelen. Ook moet duidelijk zijn welke latere trainingsstappen een model met afwijkend gedrag hebben gebruikt, zodat de gevolgen daarvan teruggedraaid kunnen worden.

Voor ernstige incidenten noemt OpenAI oorzaakanalyse, een operationele en culturele nabespreking en nieuwe regressietests voor toekomstige modellen. Tijdens lopend onderzoek moeten interne updates volgen; na afloop wil OpenAI bevindingen en wijzigingen openbaar delen en getroffen derden informeren.

Training is een andere toetsfase

De zeven uitgangspunten voor onafhankelijke AI-toetsers, met vier onderzoeksgebieden en eisen aan reikwijdte, toegang en belangenconflicten gingen over externe beoordeling. De nieuwe richtlijnen gaan over de eigen controles binnen frontier-training. Onafhankelijke toetsing en bewijs over het trainingsproces beantwoorden dus verschillende vragen.

Voor inkopers maakt dat het dossier achter een veiligheidsclaim concreter: wie heeft het model beoordeeld, wat kon die partij onderzoeken, en hoe worden risico’s tijdens training gevolgd en zo nodig stilgelegd? OpenAI presenteert de safety cases nog als een ambitieus richtpunt. Het document is geen algemene eis voor inzet van bedrijfsmodellen.