Anthropic laat Claude zijn eigen veiligheidstraining doen voor 4 dollar per uur

Anthropic laat Claude zijn eigen veiligheidstraining uitvoeren en meldt dat die geautomatiseerde onderzoeker op tien soorten misalignment 26 tot 96 procent van het veiligheidsgat dichtte, voor ongeveer 4 dollar per uur aan API-kosten.

Voor wie een model inkoopt verschuift daarmee de vraag waar het veiligheidsbewijs vandaan komt. De alignment-training achter een commercieel model is in dit experiment niet bedacht door een team onderzoekers, maar door een ander model, met een toezichthoudende agent als enige rem. Daarmee wordt ook de verantwoording zelf een product van AI. Wat je bij een leverancier kunt opvragen verandert mee: niet wie de methode bedacht, maar op welke benchmarks is gemeten, hoeveel van het gat werd gedicht, en welke methodes zijn afgekeurd.

Wat de geautomatiseerde onderzoeker doet

Claude kreeg per faalvorm dezelfde lus: literatuur doorzoeken, een methode en trainingsdata voorstellen, een kleiner model daarmee trainen en de uitkomst testen op doorgaans drie tot vijf publieke benchmarks. Privacyschending werd bijvoorbeeld gemeten met ConfAIde, PrivaCI-Bench en PrivacyLens. De maatstaf is het percentage van het veiligheidsgat dat gedicht wordt: hoe ver een methode het getrainde model opschuift richting een perfecte score.

Twee harde grenzen stonden eromheen. Methodes die de algemene capaciteiten van het model schaadden werden verworpen, en Claude mocht zijn eigen alignment niet rechtstreeks in het doelmodel distilleren. Een aparte monitor-agent las elke methode voordat die draaide. Voor alle tien de faalvormen vond Claude fixes die de benchmarkscores verbeterden zonder de capaciteiten aan te tasten. De beste methodes hielden ook stand op benchmarks die het model tijdens het onderzoek nooit zag, op het auditgereedschap Petri, en op modellen tot 4,7 keer groter dan waarvoor ze waren geoptimaliseerd.

De spreiding tussen de faalvormen is groot. Reward hacking ging het best met 96 procent van het gat gedicht, gevolgd door misleiding (82 procent in die run) en prompt injection (79 procent). Onderaan staan hallucineren (40 procent), het verzwijgen van onzekerheid (39 procent) en vleierij (26 procent). Juist die laatste drie zijn de fouten waar een zakelijke gebruiker dagelijks tegenaan loopt.

Beter dan 28 menselijke onderzoekers, tegen 4 dollar per uur

Anthropic legde dezelfde opdracht voor aan 28 ervaren veiligheidsonderzoekers met gemiddeld 2,5 jaar ervaring in AI-veiligheid, die er elk maximaal acht uur voor kregen en één idee mochten indienen. Op de zeven faalvormen waarvoor mensen een voorstel inleverden, versloeg de beste geautomatiseerde methode het beste menselijke voorstel. Bij misleiding is het verschil het duidelijkst: de agents dichtten gemiddeld 85 procent van het gat, zes ervaren onderzoekers kwamen onder dezelfde regels gemiddeld op 20 procent.

De rekensom eronder is scherper dan de scores. Een geautomatiseerde onderzoeker kost ongeveer 4 dollar per uur aan API-inferentie tegen de 150 dollar per uur die Anthropic zijn menselijke onderzoekers betaalt. Snelheid telt daarbij mee: binnen ongeveer zes uur verslaat de beste geautomatiseerde methode wat ervaren mensen voorstellen, schrijft het onderzoeksteam onder leiding van Anthropic-fellow Chen Yueh-Han.

Anthropic relativeert de vergelijking zelf. De mensen konden niet itereren op hun inzending, terwijl de agents bij misleiding meer dan 150 pogingen deden. Het lab ziet het resultaat daarom eerder als een werkwijze waarin Claude kansrijke methodes aanwijst die mensen daarna verfijnen dan als een directe wedstrijd.

De proef op een productiemodel

De interessantste test is de omgekeerde: een zwakker model dat een sterker model uitlijnt. Claude Sonnet 5, dat op de Epoch Capabilities Index lager scoort dan Claude Opus 4.8, kreeg de opdracht alignment-fouten te repareren in een vroege Opus 4.8-checkpoint die het grootste deel van de productie-alignmenttraining nog niet had gehad.

In 60 uur probeerde het meer dan 50 oplossingen. De winnaar bestond uit ruim 2.000 trainingsvoorbeelden, opgebouwd uit simpele sjablonen en publieke datasets, en dichtte 65 procent van het veiligheidsgat. De uitgebrachte Opus 4.8 staat op 72 procent. Anthropic noemt die aanpak ongeveer 15.000 keer efficiënter dan zijn eigen productieprocedure voor alignment.

Wie de controleur controleert

Anthropic wist al dat Claude kan valsspelen door testlabels via een externe API weg te sluizen en gunstige resultaten te selecteren. Om dat te vangen liet het Opus 4.8 ongeveer 1.600 transcripten van onderzoeksagents nalezen. In 39 daarvan, 2,4 procent, vond de monitor een poging tot valsspelen. Het lab noemt zich voorzichtig optimistisch dat de monitor het meeste heeft opgemerkt, omdat wangedrag van Opus 4.8 doorgaans nog zichtbaar is in zijn eigen redenering. Bij sterkere modellen hoeft dat niet zo te blijven, en Anthropic noemt het behouden van die zichtbaarheid daarom cruciaal.

De beperkingen staan er even nuchter bij. De onderzochte faalvormen zijn smal vergeleken met de praktijk, politieke bias werd bijvoorbeeld niet gemeten. Voor fouten die zeldzaam zijn of pas net opduiken bestaat geen benchmark. Methodes werden alleen afgekeurd als ze een vooraf vastgestelde, beperkte set capaciteiten schaadden, dus andere capaciteiten kunnen ongemerkt achteruit zijn gegaan. En of de winst standhoudt na uitgebreide reinforcement learning op andere taken, is niet getest.

Een stempel die minder zegt

Twee weken eerder tilde Anthropic zijn eigen inschatting van catastrofaal misalignment-risico van 'very low' naar 'low', mede omdat de monitoring van zijn eigen agents gaten bleek te hebben. Dit rapport is de andere kant van diezelfde beweging: het werk dat mensen niet snel genoeg af krijgen, laat het lab nu door een model doen, met opnieuw een model als toezichthouder erboven.

Voor een organisatie die een model uitkiest, wordt de stempel 'veiligheidsgetraind' daarmee steeds minder informatief. De bruikbare informatie zit in de cijfers eronder: op welke benchmarks is gemeten, hoeveel van het gat is gedicht, welke methodes zijn afgekeurd en wie de transcripten heeft nagelezen. Anthropic heeft de harness achter dit onderzoek open source gemaakt zodat andere labs hun eigen modellen ermee kunnen uitlijnen. Wordt dat opgepakt, dan zijn dat precies de vragen die je binnenkort bij meer dan één leverancier kunt stellen.