Opus 5 scoort 30,2 procent op ARC-AGI-3, bijna vier keer de vorige topscore

Claude Opus 5 scoort 30,2 procent op ARC-AGI-3, bijna vier keer de vorige topscore van 7,8 procent van OpenAI's GPT-5.6 Sol, blijkt uit de geverifieerde cijfers van ARC Prize.

Dat is het eerste onafhankelijk gemeten getal onder een claim die Anthropic bij de lancering zelf vaag hield: het bedrijf sprak over een score die driemaal zo hoog ligt als het op een na beste model, bij een ongewijzigd tarief van 5 dollar in en 25 dollar uit per miljoen tokens. Wie na de lanceerweek nu pas zijn modelkeuze herziet, kijkt dus niet langer naar een leveranciersfolder maar naar een gecontroleerde meting. Alleen zegt precies dat cijfer weinig over de taken die je dagelijks draait, en een tweede test die kort erna verscheen laat een veel kleinere sprong zien.

Wat ARC Prize precies mat

ARC-AGI-3 is de eerste interactieve test in de ARC-reeks. Een model krijgt geen uitleg in natuurlijke taal, maar moet in een onbekend spel zelf de regels afleiden, een plan maken en dat stap voor stap uitvoeren. De test meet leren uit ervaring, niet opgeslagen kennis.

Opus 5 kwam uit op 30,16 procent en speelde daarbij vijf omgevingen uit die nog geen enkel model eerder had gehaald, vier daarvan op of boven menselijk niveau. Van de 25 publieke demo-omgevingen zijn er nu zes opgelost. Door het korte testvenster testte ARC Prize alleen de stand High; de zwaardere Max-stand kwam er niet aan te pas. Recordhouder GPT-5.6 Sol haalde zijn 7,8 procent juist wel op Max. In zijn eigen tests ziet ARC Prize Anthropics Fable-klasse rond de 20 procent uitkomen.

ARC Prize schrijft de voorsprong toe aan sterker logisch redeneren, dat volgens de organisatie zelfstandiger verkennen, plannen en uitvoeren in onbekende omgevingen mogelijk maakt. Onderzoekers zagen daarbij gedrag dat ze niet eerder van een model zagen: Opus 5 vertaalde opgaven naar algebraïsche notatie en stelde uit zichzelf spiegelvergelijkingen op.

Op de oudere tests blijft Sol voor

Op de statische voorgangers is het beeld anders. Opus 5 haalt op zijn Max-stand 97,5 procent op ARC-AGI-1 en 90,4 procent op ARC-AGI-2 Semi-Private. GPT-5.6 Sol staat op diezelfde ARC-AGI-2-test op 92,5 procent. ARC Prize noemt Opus 5's resultaten op die oudere tests gelijkwaardig aan eerdere koplopers, tegen iets hogere kosten. De sprong zit dus in het interactieve deel, niet over de hele linie.

Een tweede test laat een veel kleinere winst zien

Guanghan Ning testte Opus 5 op Witness, zijn eigen niet-gepubliceerde suite met interactieve puzzelspellen in ARC-AGI-3-stijl. Daar landt Opus 5 op 43,4 punten, statistisch gelijk aan Kimi K3 (42,8) en Fable 5 (43,8), boven Opus 4.8 (34,8) maar zonder generatiesprong. De verklaring zit in het patroon: op het meest klassieke spel noemde Opus 5 de verborgen regels vóór zijn eerste zet en speelde het daarna in vijf van de vijf runs een identieke optimale oplossing, zonder te verkennen. Op het spel met de minst herkenbare mechanieken zakte het juist onder Opus 4.8. Ning leest dat als training op materiaal uit hetzelfde genre, niet als algemene winst in abstract redeneren.

ARC Prize-president Greg Kamradt reageerde een dag later met tegenvragen. Hij las dat klassieke spel als een spel dat Opus 5 simpelweg al kende, waardoor het geen aanpassing aan nieuwheid test, en tekende aan dat ARC Prize hetzelfde zag bij zijn eigen spellen: op sommige deed Opus 4.8 het beter. Ning verduidelijkte daarna dat Opus 5 wel degelijk naar Witness generaliseert, alleen veel minder dan naar ARC-AGI-3. Relevant detail: Opus 5 is ontwikkeld nadat ARC-AGI-3 en het formaat ervan publiek waren.

Wat een redeneerscore wel en niet zegt

Zet het naast de brede meting en het verschil valt op. Op de Artificial Analysis Intelligence Index, die negen tests over kenniswerk, code, wetenschappelijk redeneren en feitelijkheid combineert, liggen Opus 5 (61), Fable 5 (60) en GPT-5.6 Sol (59) binnen twee punten van elkaar. Een viervoudige voorsprong op één abstracte redeneertest en twee punten verschil op een brede index zijn allebei waar, en ze meten iets anders.

De snelheid waarmee dit gebeurde is minstens zo veelzeggend als de score zelf. Opus 5 is Anthropics vierde modellancering in acht weken, en binnen een etmaal na de verificatie lag er al onafhankelijk tegenbewijs op tafel. Dat onafhankelijke meting scherper kan zijn dan het leverancierscijfer bleek eerder ook bij Fable 5, waar de TypeScript-debugscore 70 procent instortte nadat een veiligheidsclassifier codeerverzoeken stilletjes naar een zwakker model wegleidde.

Een benchmark die publiek was voordat het model werd getraind, blijft een zwakker signaal dan hij oogt. Voor een modelheroverweging telt uiteindelijk maar één meting: dezelfde taak, twee modellen, je eigen data.