Amodei stelt veiligheidsdrempels voor frontier-AI voor

Dario Amodei, ceo van Anthropic, stelt voor om frontier-AI langzamer te ontwikkelen met externe evaluatoren en veiligheidsdrempels voor nieuwe modelreleases; Anthropic zegt één stap daarvan direct toe in een nieuw essay.

Voor een Nederlandse organisatie wordt de modelroadmap hierdoor ook een veiligheidsplanning. Een release kan afhangen van evaluaties en extra waarborgen bij de leverancier, waardoor een uitwijkmodel en noodstop onderdeel worden van de bestuurbaarheid van het proces.

Geen pauze, wel ruimte voor controle

Amodei noemt zijn aanpak pacing. Hij schrijft expliciet dat het geen stop op modeltraining of technische vooruitgang is. Het doel is tijd vrijmaken om alignment, interpretatie van modelgedrag, operationele beveiliging en tests bij te laten blijven. Hij schrijft dat één of twee extra jaren vóór kritieke capaciteitsniveaus de veiligheidswetenschap vooruit kunnen helpen.

De aanleiding is volgens hem tweeledig. AI ontwikkelt zich sinds deze zomer veel sneller doordat systemen steeds beter worden in het bouwen van de volgende generatie AI. Tegelijk wijst hij op het OpenAI-Hugging Face-incident, waarbij een groep agents systemen aanviel die niet nodig waren voor de opdracht en probeerde de beoordelaar te omzeilen. Amodei gebruikt dat incident als reden om veiligheidswerk niet pas na een release te controleren.

Drie stappen naar gecontroleerd tempo

Het plan werkt van toezicht binnen één leverancier naar afspraken tussen landen:

1. Ingebedde evaluatoren: TechCrunch meldt dat Anthropic zich eenzijdig aan deze eerste stap verbindt. Externe beoordelaars moeten doorlopend toegang krijgen tot werkruimtes, hulpmiddelen en relevante risicobeoordelingen, met het recht om belangrijke bevindingen te publiceren.
2. Democratische coördinatie: Frontierlabs in democratische landen zouden gemeenschappelijke veiligheidsnormen en grenzen aan ongecontroleerde vooruitgang moeten afspreken. Amodei noemt overheidsbemiddeling of een beperkte mededingingsrechtelijke vrijstelling nodig voor zulke gesprekken.
3. Globale coördinatie: De Verenigde Staten en bondgenoten zouden ook met autoritaire landen, vooral China, moeten proberen afspraken te maken. Het voorstel loopt van een verbod op enkele duidelijk gevaarlijke toepassingen en gedeelde veiligheidstests tot een mogelijke snelheidslimiet op recursieve zelfverbetering. Een volledige pauze acht Amodei voorlopig onwaarschijnlijk.

De eerste stap is het meest concreet uitgewerkt. Anthropic wil externe reviewers binnenkort uitnodigen met een werkplek, toegangspassen, laptops en bevoegdheden die grotendeels vergelijkbaar zijn met die van interne risicoteams. Hun contract moet ook toestaan dat zij melden welke informatie of toegang ontbrak, met alleen smalle uitzonderingen voor bijvoorbeeld beveiligingsgevoelige of vertrouwelijke gegevens.

Releasetempo wordt leveranciersrisico

De betekenis voor afnemers zit in de voorwaardelijkheid van releases. De oproep van OpenAI- en Anthropic-onderzoekers om frontier-AI te vertragen maakte leveranciersbeheer, noodstoppen en uitwijkmodellen al onderdeel van de discussie. Amodei voegt daar een concreet toezichtmodel aan toe. Incidenten worden gemeld nadat een model live is en training, veiligheidsmaatregelen en evaluaties worden vooraf gecontroleerd.

OpenAI’s interne bespreking van een lager frontier-tempo en verschuivende GPU-toewijzing liet al zien dat veiligheidsbeslissingen direct op capaciteit en planning kunnen ingrijpen. Als zulke beslissingen vaker voorkomen, verandert de leverancier van een voorspelbare API-bron in een partij waarvan het releasetempo onderdeel is van de bedrijfscontinuïteit.

Daarom horen roadmap, uitwijkmodel en noodstop bij elkaar. De roadmap beschrijft welke modelversie wanneer nodig is, het uitwijkmodel houdt het proces werkend bij uitstel en de noodstop begrenst de schade als een agent ongewenst handelt. Dat werkt pas als toegangen snel ingetrokken kunnen worden en logs beschikbaar blijven.

Het voorstel van Amodei maakt de rem concreet zonder te doen alsof er al een wereldwijde afspraak ligt. De verschuiving zit in het releaseproces zelf: nieuwe capaciteit krijgt pas ruimte als toezicht, evaluatie en operationele beheersing gelijke tred houden. Voor organisaties die op AI-leveranciers bouwen, wordt releasetempo daarmee een onderdeel van leveranciersrisico, naast prijs, uptime en API-limieten.