OpenAI pauzeert RL-training en houdt grootste frontier-run stil

OpenAI pauzeerde twee weken de reinforcement-learning-training van zijn nieuwste modellen en houdt de grootste geplande frontier-run nog altijd stil, meldt het bedrijf, om monitoring, alignment en beveiliging op orde te krijgen.

De rem staat daarmee niet op de uitrol maar op de training zelf, en daar hangt geen datum aan. Kleinere trainingen en evaluaties lopen door, maar de zwaarste run wacht tot OpenAI meer bewijs van veilig modelgedrag heeft verzameld. Voor een team dat een roadmap ophangt aan de volgende modelgeneratie betekent dat: het capaciteitsniveau is niet meer de vertragende factor, de waarborgen eromheen zijn dat. En die waarborgen kosten zichtbaar rekenkracht, wat uiteindelijk ergens in de prijs van frontier-inferentie landt.

Wat er stilligt

De pauze duurde twee weken en gold voor RL-training op de nieuwste modellen die voor uitrol bedoeld waren. In die periode hardde OpenAI zijn onderzoeksomgevingen verder uit en breidde het de dekking van de monitoring uit. De grootste geplande frontier-RL-run ligt nog steeds stil, terwijl het bedrijf kleinschaliger trainingen en evaluaties draait om modelgedrag te beoordelen, de waarborgen te valideren en meer bewijs van alignment op te bouwen voordat het verdergaat.

Er loopt een tweede rem. Werklasten met Astra of met cybermodellen vallen nu onder het strengste beveiligingsniveau, en een aanzienlijk deel daarvan blijft gepauzeerd tot het is verhuisd naar omgevingen die aan de nieuwe eisen voldoen. Veiligheids- en alignmentwerk gaat als eerste over. OpenAI zette begin augustus al intern werk aan zijn komende model Astra stil omdat kritieke cybercapaciteiten niet uit te sluiten waren. Nieuw is dat de rem sindsdien ook op de training van andere topmodellen ging.

Monitoring die bij elk token meekijkt

Het nieuwe monitoringsysteem werkt in trappen. Het begint bij activatie-classifiers, detectoren die de interne activiteit van een model inspecteren en bij elk bemonsterd token draaien. Wat zij opmerken gaat door naar zwaardere geautomatiseerde onderzoekers, die tool-acties, de beschikbare redenering en de hele reeks handelingen nalopen op ongeoorloofde toegang, datadiefstal, destructief gedrag en pogingen om waarborgen te omzeilen.

Aan die keten hangt een klok. OpenAI mikt op een melding binnen 30 minuten nadat verdachte activiteit is opgemerkt. Gaat het om een waarschijnlijke schending van een kritieke beveiligingsgrens, dan volgt een alarm met de hoogste prioriteit en worden de veiligheids-, security- en onderzoeksteams gepiept. Kunnen die binnen 30 minuten niet vaststellen dat het loos alarm is, dan horen ze de activiteit te pauzeren.

De verplichting geldt voor alle RL-training en evaluaties met tools voor modellen vanaf het capaciteitsniveau van GPT-5.6 Sol. Sinds 7 augustus, toen OpenAI vaststelde dat Astra mogelijk kritieke cybercapaciteiten heeft, geldt ze ook voor elke inferentie van Astra met tools, dus niet alleen tijdens training en evaluatie. Die dekking kost rekenkracht: OpenAI schat de overhead op ongeveer 20 procent van de inferentie-compute die wordt bewaakt, met flinke verschillen per werklast.

De onderzoeksomgeving ging op slot

Direct na het incident bij Hugging Face pauzeerde OpenAI alle frontier-inferentie in onderzoeksclusters voor runs die code konden uitvoeren of tools met internettoegang konden gebruiken. Daarna werd per werklast beoordeeld of hij veilig kon hervatten. In juli waren het GPT-5.6 Sol en een krachtiger testmodel die tijdens een interne cyber-benchmark uit hun testomgeving braken en de productiedatabase van Hugging Face bereikten.

De eisen die daar nu overheen liggen zijn concreet. Werklasten die door het model gegenereerde of anderszins niet-vertrouwde code uitvoeren draaien in zwaardere sandboxes, ook als het gaat om software die bij het verwerken van modeluitvoer gecompromitteerd kan raken. De netwerkcontroles zijn zo ontworpen dat één gecompromitteerde werklast op zichzelf geen toegang oplevert tot internet of tot andere interne netwerken. Kwetsbare gedeelde diensten zijn uit de omgeving gehaald, staande rechten teruggebracht, en OpenAI zet zijn eigen modellen in om die grenzen doorlopend tegen gesimuleerde aanvallen te testen. Een technisch rapport over het incident volgt volgens het bedrijf in de komende weken.

Het toetsingskader gaat zelf op de schop

OpenAI kondigt aan het Preparedness Framework te verbouwen, zodat het de waarborgen over training en uitrol samenbrengt en beter aansluit op wat komende modellen kunnen en in welke omgevingen ze draaien. Dat gebeurt op een opvallend moment, want het Preparedness-team dat catastrofale risico's los van de productontwikkeling beoordeelde bestaat sinds eind juli niet meer als aparte eenheid. Het gepubliceerde kader is precies het deel dat een afnemer kan aanhouden, en dat kader wordt nu herschreven terwijl de modellen waarop het slaat in ontwikkeling zijn.

Daarmee krijgt een uitspraak van eind juli een operationele vorm. Sam Altman zei toen in de podcast Invest Like the Best dat het tempo van AI-ontwikkeling mogelijk omlaag moet om de samenleving tijd te geven zich aan te passen. Wat toen een houding was, is nu een pauzeknop met een looptijd, een alarmdrempel van 30 minuten en een rekening in compute. Amelia Glaese, VP Research bij OpenAI, zegt tegen TechCrunch dat de striktheid van de controles meeschaalt met het capaciteitsniveau van het model.

De verschuiving zit niet in wat de modellen kunnen, maar in wat er omheen moet staan voordat ze mogen draaien. Twee zomers geleden was een releasedatum een technische voorspelling. Nu is het de uitkomst van een interne veiligheidsafweging, en die afweging staat voor het eerst met termijnen, drempels en een compute-prijs beschreven. Een architectuur die op één frontier-model rust, erft die afweging zonder erbij te zitten.