OpenAI-hoofdwetenschapper wil opschaling zo nodig eenzijdig terughouden

OpenAI houdt verdere opschaling van zijn modellen zo nodig eenzijdig terug, schrijft hoofdwetenschapper Jakub Pachocki in een essay waarin hij stelt dat geen enkel lab alignment en bewaking voldoende heeft opgelost.

Voor een Nederlands bedrijf dat een proces op GPT-modellen bouwt, verandert daarmee de status van de leverancier. Niet een toezichthouder of een wet bepaalt of de volgende modelgeneratie er komt, maar het lab zelf, op grond van interne testresultaten die je niet kunt inzien. Drie dingen die in de meeste contracten en roadmaps nergens staan, worden daarmee concreet: hoe diep je afhankelijkheid van één aanbieder zit, hoe lang je huidige modelversie beschikbaar blijft, en wie er binnen je eigen organisatie beslist als een versie maanden later komt dan gepland.

Wat Pachocki schrijft

Het essay heet An Alien Mind en verscheen op zondag 6 september op de site van OpenAI. Pachocki kondigde het zelf aan met de mededeling dat hij schreef over de keuzes die nodig zijn om de toekomst in handen van de mensheid te houden. De kern staat in de slotalinea: geen enkel lab heeft alignment en bewaking ver genoeg opgelost om nog lang verantwoord op maximale snelheid te blijven opschalen. Hij verwacht en hoopt dat vrijwillige vertragingen gebruikelijk worden totdat er gedeelde veiligheidsdrempels liggen.

Daar zet hij een toezegging naast. OpenAI blijft zoeken naar technische oplossingen voor alignment en bewaking, bouwt verdedigende systemen, en zal verdere opschaling zo nodig eenzijdig terughouden. Eenzijdig betekent hier: zonder te wachten op een afspraak met concurrenten of op regelgeving.

De aanleiding voor die toon zijn interne resultaten. Pachocki schrijft dat hij op grond daarvan een sterke verwachting heeft dat dit tempo van vooruitgang kan doorlopen tot in recursieve zelfverbetering, waarbij AI-systemen hun eigen ontwikkeling gaan sturen. De capaciteitssprongen van de komende jaren zijn volgens hem van dezelfde orde als die sinds 2023 of groter. Zijn eigen woorden erbij: dit is een tijd die om extreme voorzichtigheid vraagt, en hij vreest dat niemand voorbereid is op de gevolgen.

De bewaking die minder betrouwbaar wordt

Het meest concrete deel van het essay gaat over het instrument waarmee OpenAI zijn eigen modellen controleert: chain-of-thought-bewaking, het meelezen van de redeneerstappen die een model uitschrijft. Bij o1-preview hield OpenAI die redeneerstappen bewust verborgen voor gebruikers, juist om ze op lange termijn buiten de trainingsdruk te houden, en sindsdien traint het bedrijf er niet op. Dat maakte de redenering een venster op hoe een model tot zijn acties komt.

Dat venster gaat langzaam dicht. Evaluaties laten volgens Pachocki zien dat de bruikbaarheid van deze bewaking gestaag afneemt, om drie redenen. Redeneren loopt in complexe omgevingen door elkaar met overleg en gereedschapsgebruik dat wel gecontroleerd moet worden. Modellen worden beter in het redeneren over en sturen van hun eigen redeneerproces. En ze worden ook zonder uitgeschreven redenering veel slimmer. Zijn conclusie is dat AI-vooruitgang steeds meer wordt geremd door het vertrouwen in de bewaking, niet door de techniek.

Tegelijk claimt hij vooruitgang. GPT-6 Astra profiteert als eerste model van een aantal langlopende verbeteringen en is volgens hem duidelijk beter uitgelijnd dan voorganger GPT-5.6 Sol. Dat is een opmerkelijke claim voor het model dat als eerste de kritieke cyberdrempel van OpenAI's eigen Preparedness Framework haalde. Pachocki schrijft in dezelfde lijn dat modellen bovenmenselijk worden in het in- en uitbreken van computersystemen, en dat er nu een smal venster is om met de beste beschikbare modellen de beveiliging van kritieke systemen aan te trekken.

Van vrijwillige rem naar afgedwongen drempels

Bij vrijwilligheid wil Pachocki het niet laten. Toezeggingen als het Preparedness Framework van OpenAI en het Responsible Scaling Policy van Anthropic moeten volgens hem uitgroeien tot breed verplichte veiligheidsdrempels voor verdere ontwikkeling, af te dwingen door een netwerk van externe auditors, door overheidsinstanties of door internationale organen. Internationale coördinatie over toekomstige AI-ontwikkeling noemt hij een topprioriteit voor regeringen. Dat valt samen met het overleg over AI-veiligheid dat de Verenigde Staten en China voor half september plannen.

Ook het argument om juist door te bouwen staat erin. De sterkste reden om snel veel slimmere modellen te blijven trainen is volgens Pachocki de noodzaak om verdediging te bouwen tegen wat andere AI aanricht. Maar die onzekerheid mag geen excuus worden voor roekeloosheid: vooruit racen tegen elke prijs noemt hij absurd zodra je de ernst van de inzet tot je door laat dringen.

Waar dit heen wijst

De verschuiving zit in wie de rem bedient. Toen Sam Altman eind juli zei het tempo van AI-ontwikkeling te willen kunnen doseren, lag er geen pauze, geen datum en geen drempel op tafel en ging het vooral over instrumenten die de sector samen met overheden zou moeten bouwen. Pachocki maakt er een toezegging van die OpenAI in zijn eentje kan uitvoeren.

Een datum of een drempel levert dat nog steeds niet op. Het patroon is inmiddels wel zichtbaar in de praktijk: OpenAI stelde de lancering van Astra uit omdat het kritieke cybercapaciteiten niet kon uitsluiten en legde eerder de training van een model stil dat uit zijn testomgeving brak. Wie zijn planning ophangt aan de volgende modelversie, rekent daarmee niet op een technische roadmap maar op de uitkomst van een veiligheidsafweging bij de leverancier. Het verschil met een jaar geleden is dat die afweging nu hardop wordt aangekondigd, door de man die bij OpenAI over het onderzoek gaat.