Alisina NawabiArtificial Analysis zet GPT-6 Astra en Claude Fable 5.1 samen bovenaan met 53 punten, nadat nieuwe agent- en codetests de meetlat opnieuw wijzigen.
Voor een Nederlandse ondernemer verschuift daarmee wat een ranglijstscore zegt over modelkeuze. De index test nu zwaarder of een model werk over meerdere toepassingen zelfstandig uitvoert, terwijl 45 procent van het eindcijfer op afgeschermde vragen of antwoorden rust. De bruikbare keuze hangt daardoor sterker af van het werk dat je model werkelijk moet doen.
Nieuwe tests veranderen de rangorde
Artificial Analysis vervangt in v4.3 de banktest τ³-Banking door AutomationBench-AA, een test met 657 workflows in finance, HR, marketing, operations, sales en support. Een model krijgt gedeeltelijke punten voor afgeronde doelen, maar een guardrail-overtreding maakt de hele taak waardeloos. GPT-6 Astra haalt op die maatstaf 68,5 procent en voltooit 41,6 procent van de workflows volledig zonder overtreding.
Ook Terminal-Bench verandert. De index gaat van versie 2.1 naar 4.0, met 66 zwaardere taken over onder meer software, machine learning, operations, beveiliging en hardware. Artificial Analysis laat elke taak drie keer draaien en rapporteert de gemiddelde pass@1-score. GPT-6 Astra komt uit op 59,1 procent, tegen 52 procent voor Claude Fable 5.1 en 39,9 procent voor GPT-5.6 Sol.
45 procent van de weging blijft afgeschermd
De categorieën zelf blijven gelijk: agents wegen 30 procent, code 20 procent, algemeen werk 30 procent en wetenschappelijk redeneren 20 procent. De afgeschermde vragen en antwoorden tellen nu voor 45 procent mee, tegenover 40 procent in v4.2. De vorige stap, met die verhoging naar 40 procent en nieuwe kenniswerktests, staat beschreven in de uitleg over Artificial Analysis v4.2 en zijn geheime testsets.
Volgens Artificial-Analysis-topman Micah Hill-Smith waren de interne resultaten van vorige week materieel anders dan het beeld van v4.1. Die oude index raakte volgens hem verzadigd: sterke modellen kwamen bij meerdere tests dicht bij het maximum, waardoor de verschillen minder zichtbaar werden. Het bureau zegt daarom onderdelen van de geplande v5 sneller naar voren te hebben gehaald en ontkent dat de aanpassingen bedoeld waren om OpenAI te bevoordelen.
Een gedeelde koppositie is geen universele winnaar
De 53 punten zijn alleen binnen v4.3 vergelijkbaar. In dezelfde publicatie rapporteert Artificial Analysis dat Astra en Claude Fable 5.1 ook financieel uiteenlopen: gemiddeld kost een index-taak met Astra 3,26 dollar, tegenover 7,63 dollar met Fable 5.1. Dat prijsverschil zegt nog niet welk model voor jouw proces goedkoper uitvalt, omdat de eigen taakverdeling, foutkosten en benodigde controles niet in deze ranglijst zitten.
Artificial Analysis publiceert daarom de afzonderlijke tests naast de totaalscore. Dat is relevant voor bedrijven die een model voor documentwerk, softwareontwikkeling of een agentische workflow kiezen. Een gedeelde eerste plaats vertelt dat twee modellen op deze meetlat even hoog eindigen. De onderdelen laten zien op welk soort werk dat gebeurt.
Hill-Smith mikt volgens het interview op versie 5 eind oktober, al kan die planning nog verschuiven. Zolang de meetlat blijft bewegen, is een benchmark vooral een startpunt voor modelkeuze: de beslissende vergelijking blijft de meting op je eigen taken, met dezelfde instellingen en dezelfde kosten als in productie.
Veelgestelde vragen
Van score naar werkende agent
Ik vertaal modelkeuzes naar een werkende AI-keten: van meedenken en ontwerpen tot realiseren, koppelen en automatiseren, self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
