Artificial Analysis herziet zijn AI-index en zet 40 procent op geheime tests

Artificial Analysis herziet zijn Intelligence Index naar versie 4.2 en laat 40 procent van de weging nu rusten op geheime testsets, het dubbele van de vorige versie.

Wie modellen op zo'n ranglijst uitkiest, koopt vanaf nu op andere cijfers in. Dezelfde twee OpenAI-modellen die in de vorige index precies gelijk eindigden, staan er nu vier punten uit elkaar. Aan de modellen zelf veranderde niets. Alleen de meetlat verschoof, en dat maakt een score zonder indexversie erbij vrijwel onbruikbaar als inkoopargument.

Twee tests erbij, een verzadigde test eruit

Het meetbureau voegde twee evaluaties toe en haalde er een weg. AA-Briefcase is de eigen agentische test met een afgeschermde testset: modellen krijgen kennisprojecten van meerdere weken voorgeschoteld, met veel gekoppelde deeltaken en duizenden bronbestanden, en worden beoordeeld op taaksucces, analysekwaliteit en presentatie. Die test weegt in een klap 15 procent en is daarmee het zwaarste losse onderdeel van de index.

GDP.pdf, gemaakt door Surge AI, toetst documentbegrip. Een model moet bewijs bij elkaar halen uit 100 pdf's over tien vakgebieden, samen 4.592 pagina's met tekst, tabellen, grafieken en voetnoten, en wordt afgerekend op 1.275 door experts geschreven criteria. Een taak telt alleen mee als aan elk criterium is voldaan. Weging: 10 procent.

Eruit ging GPQA Diamond, de wetenschappelijke redeneertest die volgens Artificial Analysis verzadigd is geraakt. De index telt nu tien evaluaties, verdeeld over agenttaken (30 procent), code (20 procent), wetenschappelijk redeneren (20 procent) en algemeen werk (30 procent). De 40 procent afgeschermde data bestaat uit AA-Briefcase, AA-Omniscience en de oplossingen van CritPt, en dat aandeel gaat in versie 5 verder omhoog.

Dezelfde modellen, een andere rangorde

In de oude index bleven GPT-6 Astra en GPT-5.6 Sol allebei op 61 punten staan, vijf punten achter Claude Fable 5.1. Juist die uitkomst leverde het beeld op dat Epoch AI Astra op plaats 1 van 267 modellen zette terwijl Artificial Analysis geen enkele vooruitgang mat.

Onder v4.2 staat Astra op 55 punten tegen 51 voor Sol, en voert Claude Fable 5.1 de index aan met 57. De hele schaal zakt, want de nieuwe taken zijn zwaarder. Wat er echt verandert is de onderlinge afstand: het gat tussen Astra en Sol groeit van nul naar vier punten, terwijl de achterstand van Astra op Fable 5.1 krimpt van vijf naar twee.

Die verschuiving komt vooral van AA-Briefcase, waar Astra ongeveer 85 Elo-punten wint op zijn voorganger en Anthropic met Claude Fable 5.1 en Opus 5 bovenaan staat. Op GDP.pdf leidt OpenAI juist: Astra haalt 33,2 procent, Sol 28,2 procent en Fable 5.1 26,2 procent. Achter de twee koplopers staat Meta als derde lab, gevolgd door SpaceXAI, Moonshot met Kimi, Z.AI en Google.

Wat de nieuwe cijfers over de rekening zeggen

Voor een agent die dagelijks draait telt de kostenkant zwaarder dan de puntenscore. Per indextaak verbruikt Astra ongeveer 21.000 uitvoertokens en Sol 23.000, terwijl Claude Fable 5.1 op 64.000 uitkomt. Bij een gemengde tokenprijs van 7,70 dollar voor Astra, 7,17 dollar voor Fable 5.1 en 3,08 dollar voor Sol per miljoen tokens levert dat een heel andere prijs per afgeronde taak op dan de kale ranglijst suggereert. Anthropic, OpenAI, Meta en Z.AI delen op die kostenlijn de gunstigste grens.

Waarom een deel van de index geheim wordt

Meer gewicht op afgeschermde data moet voorkomen dat labs zich gericht op de meting voorbereiden. Die zorg is niet theoretisch: deze week paste OpenAI de gepubliceerde benchmarkcijfers van Astra aan zonder correctiemelding, waarmee ook de rangordes ten opzichte van concurrenten schoven.

The Decoder plaatst de herziening in het licht van die kritiek en schrijft dat Artificial Analysis de index bijstelde nadat de vorige versie de vooruitgang van Astra niet leek te vangen. Het bureau zelf noemt het een tussenversie: het hield updates bewust stil tijdens de recente modellanceringen en trekt nu onderdelen van de geplande versie 5 naar voren, acht maanden na de lancering van v4 in januari.

Het effect van die keuze snijdt twee kanten op. Hoe meer gewicht op geheime taken ligt, hoe moeilijker het wordt om de test te bespelen. Maar het wordt daarmee ook onmogelijk om zelf na te rekenen: 40 procent van dit eindcijfer rust op werk dat niemand buiten het bureau kan inzien of herhalen. En met een index die tussen twee modellanceringen door van vorm verandert, wordt een puntenscore vooral een momentopname van een instrument in beweging. De enige meting die niet van versie verandert, is die op je eigen taken.