Jacob Coxon verlaat Anthropic en waarschuwt voor AI-race

Jacob Coxon verlaat Anthropic en waarschuwt dat OpenAI en Anthropic naar zelfverbeterende superintelligentie racen en daarmee met mensenlevens gokken, schrijft hij op 9 september op X.

Voor Nederlandse organisaties die AI inkopen of in kritieke processen zetten, maakt dat vertrek een afhankelijkheid zichtbaar: een leverancier bepaalt niet alleen de modelkwaliteit, maar ook hoe snel risico's, tests en noodremmen meeschuiven. Als de frontier sneller beweegt dan de veiligheidsprocedures, raken leverancierskeuze, continuïteit en aansprakelijkheid direct aan elkaar.

Wat Coxon zegt

Coxon, 27 jaar, werkte de afgelopen drie jaar aan pretraining bij OpenAI en Anthropic. Hij stapte dit jaar over naar Anthropic, dat hij voorzichtiger vond dan zijn vorige werkgever, maar verliet daarna de AI-industrie. AFP beschrijft zijn werk als het trainen van modellen op grote hoeveelheden data.

In zijn thread stelt Coxon dat de twee labs niet verantwoord handelen. Volgens hem geloven mensen die de systemen bouwen oprecht dat AI alle mensen voor het einde van dit decennium zou kunnen doden. Hij noemt dat geen marketingstunt en zegt dat leidinggevenden en senior onderzoekers hun angst in het openbaar voorzichtiger formuleren.

Coxon pleit voor samenwerking tussen de labs. Als die coördinatie uitblijft, noemt hij een tijdelijke stop op het verbeteren van modelcapaciteiten als een kostbare, maar volgens hem realistische optie. Dat is zijn voorstel, geen aangekondigde maatregel van Anthropic of OpenAI.

Een bevestiging van binnenuit

De scherpste reactie komt van Evan Hubinger, die bij Anthropic aan alignment werkt. Hij schrijft dat Coxon gelijk heeft, dat onderzoekers werkelijk geloven dat AI alle mensen zou kunnen doden, en dat hij die kans persoonlijk op meer dan 10 procent schat binnen het komende decennium. Hubinger zegt ook dat Anthropic nog geen plan heeft om alignment voor superintelligentie op te lossen. Zijn publieke reactie maakt de waarschuwing zwaarder dan een vertrekbericht van één onderzoeker.

Hubinger nuanceert die uitspraak later. Hij noemt het risico van huidige modellen laag en zegt dat zijn zorg vooral gaat over superintelligentie die ontstaat door recursieve zelfverbetering. Anthropic verwijst voor zijn formele aanpak naar de Responsible Scaling Policy, met capability-drempels, periodieke risicorapporten en externe beoordeling. De actuele beleidspagina noemt versie 3.4, die sinds juli geldt, en een openbaar risicorapport uit augustus op de eigen site van Anthropic.

Daar zit de bestuurlijke spanning van dit nieuws. Anthropic heeft wel degelijk een openbaar risicokader, maar zijn eigen alignment-lead zegt tegelijk dat er geen oplossing klaarligt voor het volgende capaciteitsniveau. Een beleidsdocument is daarmee bewijs van een proces, niet van een opgelost risico.

Wat dit verandert voor leverancierskeuze

Voor een Nederlandse organisatie verschuift de relevante vraag van alleen modelkwaliteit naar controleerbaarheid. Staat er vastgelegd wat er gebeurt bij een ernstig incident? Krijgt de klant snel bericht, kan toegang worden ingetrokken en is er een aantoonbare noodstop? Zijn evaluaties extern getoetst en kun je data, prompts en workflows meenemen als een leverancier zijn koers wijzigt?

Dat zijn geen theoretische vragen. In een eerdere toets van vijf frontier-labs ontbrak bij Anthropic openbaar bewijs van een containmentplan, al benadrukte de onderzoeker dat de score alleen openbaar materiaal beoordeelde. Juist dat verschil telt voor inkoop: een interne belofte waar geen document, meldtermijn of exitpad tegenover staat, is voor een afnemer moeilijk te controleren.

Wie een bedrijfsproces aan één modelleverancier koppelt, koopt dus ook diens veiligheidsritme. Een nieuwe modelversie kan sneller komen dan de organisatie haar controles kan testen, maar kan ook worden uitgesteld wanneer de leverancier risico's opnieuw beoordeelt. Die afhankelijkheid wordt groter naarmate een model meer mag doen, van documenten samenvatten naar systemen aanroepen, code wijzigen of betalingen voorbereiden.

Geen voorspelling, wel een governance-signaal

Of Coxons tijdlijn klopt, valt vandaag niet vast te stellen. Wat wel vaststaat, is dat mensen die aan de frontier bouwen publiek erkennen dat de veiligheidsvraag niet is opgelost en dat concurrentiedruk hun handelingsruimte beperkt. Voor bedrijven maakt dat modelkeuze tot een governancekeuze: de leverancier met de beste demonstratie is niet automatisch de leverancier met het best beheersbare risico.