Alisina NawabiArtificial Analysis’ Intelligence Index v5 zet Claude Opus 5.5 op 58 punten en Kimi K3.1 Pro op 46, met privétests en afgeschermde antwoorden op 60 procent van de weging. De index verscheen op 27 oktober.
De shortlist voor modelinkoop verandert omdat het hoogst scorende open-weightmodel nog niet beschikbaar is om zelf te draaien: Moonshot heeft Kimi’s gewichten niet gepubliceerd. De beste modellen waarvan de gewichten wel zijn vrijgegeven, DeepSeek V4.1 Flash 1017 en GLM-5.3, scoren ieder 32 punten, 26 punten onder de koploper. Wie zelf wil hosten krijgt zo een andere shortlist, maar nog geen uitslag voor de eigen taken.
v5 verandert tests en privéweging
Artificial Analysis weegt negen evaluaties in vier categorieën van elk 25 procent. Kenniswerk, coderen, wetenschap en algemene kennis wegen dus even zwaar, terwijl de losse tests binnen die groepen uiteenlopen van 5 tot 15 procent. Tegelijk lanceert Artificial Analysis Progress Index v1, die de ontwikkeling van modellen sinds november 2022 op één schaal volgt.
Twee evaluaties zijn nieuw. FrontierCode 2.0 bevat 132 taken in bestaande softwareprojecten; een codewijziging krijgt alleen punten als die de controles doorstaat en een maintainer haar zou kunnen samenvoegen. Terminal-Bench-Science voegt 70 wetenschappelijke onderzoekstaken toe, die modellen in een terminalomgeving moeten uitvoeren. De index vervangt Humanity’s Last Exam door HLE-Diamond, een set van duizend vragen die gelijk is verdeeld tussen redeneren en kennis. Ook zijn AA-Omniscience en CritPt bijgewerkt. GDPval-AA, SciCode en AA-LCR verdwijnen uit de samengestelde score.
De verborgen testweging liep al eerder op. De v4.2-index liet 40 procent van het gewicht rusten op geheime testsets. De v4.3-versie verhoogde dat aandeel naar 45 procent, na de toevoeging van een privétest met 657 zakelijke workflows. V5 komt uit op 60 procent privétests of antwoorden die buiten de publieke testset zijn gehouden. Dat is een verschuiving in de meetopzet, geen bewijs dat een model zelf slechter is geworden. De tests en hun weging veranderden eveneens.
De open score is nog geen download
Bij de release van Kimi K3.1 Pro op 23 oktober scoorde het model 55 punten en waren de gewichten nog niet gepubliceerd. Artificial Analysis verwachtte dat de gewichtsrelease het gemeten verschil tussen open en gesloten modellen van twaalf naar drie punten zou verkleinen. V5 zet Kimi op 46, twaalf punten achter Claude Opus 5.5. De testmix is veranderd, dus dat lagere indexcijfer bewijst niet dat het model zelf achteruitging. Moonshot heeft de gewichten bij publicatie van v5 nog niet vrijgegeven.
Voor modellen met al vrijgegeven gewichten is de achterstand groter. DeepSeek V4.1 Flash 1017 en GLM-5.3 delen de hoogste score in die groep met 32 punten. Het gesloten Claude Haiku 5.5 haalt 36. Op de wetenschappelijke terminaltest scoort Kimi 34 procent tegenover 63 procent voor GPT-6 Astra; DeepSeek V4.1 Flash 1017, het best scorende model met vrijgegeven gewichten, komt daar op 13 procent. De afstand verschilt dus per taak. Eén totaalscore verbergt waar een kandidaat wel of niet sterk is.
Een index is een eerste filter
V5 vraagt meer uitvoertokens per indextaak: mediaan 59.000, tegenover 35.000 in v4.3. Artificial Analysis geeft kosten van 0,96 tot 13,04 dollar per taak bij de tien hoogst scorende modellen. GPT-6.1 Sol scoort 55 punten en kost 1,27 dollar per indextaak, volgens de modelpagina van Artificial Analysis. Dit zijn benchmarkkosten, geen prijs voor een standaardklus van een Nederlands bedrijf.
De ranglijst blijft afhankelijk van wat erin zit. De methodologie beschrijft de index als een voornamelijk Engelstalige testset met vooral teksttaken. Artificial Analysis meet meertaligheid apart. Daardoor vertelt v5 op zichzelf niet hoe goed een model Nederlandse klantvragen, contracten of interne documenten verwerkt. Het grote aandeel privévragen maakt gerichte voorbereiding op de toets moeilijker, maar betekent ook dat een inkoper de uitslag niet volledig zelf kan herhalen.
Daarom hoort de score naast een test met eigen voorbeelden te staan. Een mini-benchmark met twintig tot vijftig echte taken uit je bedrijf laat zien of de rangorde standhoudt op je eigen taal, gegevens en foutmarges. Meet daarbij ook de kosten van een afgeronde taak en het beheer dat nodig is om gewichten zelf te draaien.
Mozilla meet een andere achterstand
De Mozilla-meting in zijn rapport van september beantwoordt een andere vraag. Mozilla schat de gemiddelde achterstand van open modellen op 4,4 maanden, op basis van METR-data over de duur van taken die modellen aankunnen. Dat is geen scoreverschil op dezelfde index: Mozilla combineert een andere benchmarkmomentopname met een tijdsmaat. De v1.1-meting koppelt die achterstand ook aan prijs en Kimi K3’s geheugenbehoefte van 1,56 TB.
Artificial Analysis en Mozilla kunnen dus tegelijk gelijk hebben. De eerste laat zien hoe de open modellen op geselecteerde kennis-, code- en wetenschapstests scoren; de tweede schat hoe ver hun taakduur achterloopt. Open gewichten zeggen op zichzelf niet of een model zonder grote server of commerciële beperkingen inzetbaar is. Geen van die publieke cijfers vervangt de meting op het proces waarvoor een organisatie werkelijk een model zoekt.
V5 maakt het verschil tussen modelkeuze en modeltoets concreter. Een afgeschermde index kan prestaties buiten de trainingsset meten, maar een bedrijf kan de onderliggende taken niet allemaal opnieuw uitvoeren. De scores helpen kandidaten te vinden en laten kostenverschillen zien. De uiteindelijke keuze hangt af van de taal, gegevens, rekenkosten en foutmarge van het eigen werk.
Veelgestelde vragen
Van modelscore naar werkende AI
Ik help je bepalen welke meetlat en modelkeuze bij je werk passen, en werk dat uit van ontwerp tot een toepassing die ik bouw en automatiseer. Waar het kan richt ik de oplossing zo in dat je die zelf kunt hosten, met kwaliteit, kosten en beheer afgestemd op jouw context.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
