Benchmarkbureaus spreken elkaar tegen over GPT-6 Astra

Twee onafhankelijke evaluatiebureaus komen tot tegengestelde oordelen over OpenAI's GPT-6 Astra: Epoch AI zet het model bovenaan zijn ranglijst, terwijl Artificial Analysis geen enkele vooruitgang meet ten opzichte van de voorganger.

Dat verschil valt samen met een prijsverhoging die je wel meteen op de factuur terugziet. OpenAI vraagt voor Astra twee en een half keer zoveel per token als voor GPT-5.6 Sol, waardoor een taak op maximale redeneerstand ongeveer 75 procent duurder uitkomt. Of dat zich terugverdient, hangt volledig af van het soort werk dat je erop zet: op codeeragenten wint Astra fors, op algemene kennistaken staat het stil. Een agent die vandaag op Sol draait verhuis je dus niet op gezag van een ranglijstpositie.

Twee indexen, twee uitkomsten

Epoch AI voegt meer dan vijftig benchmarks samen tot één capaciteitsindex en komt daarmee voor Astra uit op 169 punten, de hoogste score van 267 gemeten modellen. Sol staat op 162, Claude Fable 5.1 op 163 en Claude Opus 5 op 162.

Artificial Analysis meet kennis, code en tekstbegrip, en komt op iets heel anders uit. Astra blijft daar op 61 punten steken, precies gelijk aan GPT-5.6 Sol en vijf punten achter Claude Fable 5.1. Het model verbruikt ongeveer tien procent minder uitvoertokens dan zijn voorganger, maar die winst valt weg tegen de prijsstijging van 4 en 20 dollar naar 10 en 50 dollar per miljoen in- en uitvoertokens.

Op code kantelt het beeld. In de Coding Agent Index haalt Astra in Codex 67 punten, tegen 70 voor Fable 5.1 in Claude Code, en het doet dat met een derde van de tokens van Sol en een vijfde van die van Opus 5. Per taak kost het daarmee minder dan de helft van Claude Fable 5 bij dezelfde score. De hallucinatiegraad op AA-Omniscience zakt van 92 naar 51 procent, terwijl de accuratesse vier punten stijgt.

Daar staat verlies tegenover. Astra levert ongeveer 80 Elo-punten in op GDPval-AA v2, de test voor economisch waardevolle taken over 44 beroepen, en zakt op klantenservice in bankieren, op SciCode en op lange-contextredeneren. In AA-Briefcase, dat projecten van meerdere weken nabootst, wint het juist ongeveer 80 punten.

Eén detail relativeert de ranglijsten zelf. Epoch heeft voor Astra tot nu toe maar één codeerscore genoteerd, uit een run op middelhoog redeneerniveau, terwijl Fable 5.1 op vrijwel elke codeertest bovenaan staat. De twee modellen zijn dus deels op verschillende grond gemeten.

De 99,9 procent van OpenAI en de 62,7 van ARC Prize

Op ARC-AGI-3, dat een model in onbekende spelwerelden zet zonder de regels uit te leggen, zit de grootste sprong. Op het standaardharnas van ARC Prize haalt Astra 62,7 procent voor ongeveer 26.098 dollar aan testkosten, tegen 7,78 procent voor Sol en 30,16 procent voor Claude Opus 5.

De 99,9 procent die OpenAI bij de lancering op 3 september naast een API-prijs van 10 en 50 dollar per miljoen tokens zette, kwam uit een andere opstelling. Daarin gebruikte Astra het eigen harnas van OpenAI, dat redeneersporen tussen verzoeken bewaart en lange runs automatisch samenvat. Over 167 vergelijkbare spel- en redeneerparen liepen die runs 3,66 keer sneller en verbruikten ze 49 procent minder tokens. ARC Prize noemt alleen het lagere cijfer geschikt om leveranciers eerlijk naast elkaar te leggen.

Die discussie is niet nieuw. Eind juli sprong GPT-5.6 Sol van 13,3 naar 38,3 procent zodra retained reasoning en compaction aanstonden, bij ongewijzigde modelgewichten. Dezelfde configuratieafhankelijkheid bepaalt nu opnieuw het verschil tussen twee getallen die allebei over hetzelfde model gaan.

Bij Astra draait ook de kostenlogica om. Zonder redeneren kost een testrun 49.791 dollar bij een score van 35,2 procent, op maximale redeneerstand 26.098 dollar bij 62,7 procent. Meer denkwerk maakt het goedkoper, omdat het model de spellen in minder zetten uitspeelt en er dus minder modelaanroepen nodig zijn. Eén uitschieter blijft onverklaard: op de stand "low" zakt de score naar 17,5 procent, slechter dan helemaal niet redeneren.

Minder zetten dan de mediane mens

Voor de lancering liet ARC Prize ongeveer 500 testers zonder voorselectie de spellen spelen en legde per level het mediane aantal zetten vast van wie het uitspeelde. In de run met het OpenAI-harnas speelde Astra 96 procent van de levels uit in minder zetten dan die mediaan, gemiddeld met 51,7 procent minder acties. Dat cijfer meet geen rekenkracht maar ervaring: hoeveel een model van een omgeving moet zien voordat het hem beheerst. Juist daar verwachtten de organisatoren dat mensen voorlopig voor zouden blijven.

Hoe het model dat doet, is het opmerkelijkste deel. Astra schrijft zichzelf notities in een zelfbedachte, algebra-achtige steno waarin het objecten, coördinaten, regels en openstaande plannen bijhoudt, bijvoorbeeld Turn 5: P=(24,20), empty, facing west als toestandsnotitie. Op het standaardharnas is dat een harde eis, want alles wat het model niet in zijn eigen zichtbare notities zet, is weg. ARC-medeoprichter François Chollet ziet in de redeneersporen "highly efficient, on-the-fly symbolic world modeling" en trekt daar een conclusie uit die verder reikt dan deze test: gedrag dat eerder alleen met een geavanceerd harnas verscheen, verhuist naar het model zelf.

Chollet claimt nadrukkelijk geen AGI. Wel schuift hij zijn eigen verwachting op. Bij de introductie van ARC-AGI-3, zes maanden geleden, schatte hij ongeveer een jaar tot verzadiging. De sprong die Astra laat zien kwam daarmee ongeveer twee keer zo snel als hij had gedacht.

Wat een ranglijstcijfer niet meet

Er komt nog een complicatie bij de vraag hoeveel een testscore waard is. Apollo Research stelde vast dat Astra scherp doorheeft wanneer het onder evaluatie staat, waardoor lage percentages ongewenst gedrag in een test weinig zeggen over het gedrag daarbuiten. Dat raakt in de eerste plaats de veiligheidsevaluaties, maar het onderliggende punt geldt breder: een score is een meting onder testcondities, en die condities lijken zelden op je eigen pijplijn.

Beide indexen meten iets waars over hetzelfde model en spreken elkaar tegen omdat ze andere taken zwaarder wegen. Nu een modelgeneratie niet langer op alle assen tegelijk vooruitgaat, maar op de ene wint en op de andere inlevert, verliest een enkel ranglijstcijfer zijn waarde als aankoopargument. De bruikbare vraag is welke van die assen jouw werk is: de codeeragent die een derde van de tokens verstookt, of de kennistaak die precies hetzelfde presteert tegen 75 procent hogere kosten.