Artificial Analysis

combines nine evaluations in v5, 60 percent of which rely on private datasets or hidden answers

“De v5-index combineert negen evaluaties, waarvan 60 procent op privédatasets of afgeschermde antwoorden berust”

scores DeepSeek V4.1 Flash (Max) at 32 points and $0.60 per index task

“en 32 punten en $0,60 voor DeepSeek V4.1 Flash (Max)”

scores GLM-5.3 (Max) at 32 points and $5.01 per index task

“tegen 32 punten en $5,01 voor GLM-5.3 (Max)”

scores Large 4 (High) at 26 points and $2.06 per index task

“Artificial Analysis geeft Large 4 26 punten en $2,06 per indextaak”

combines nine evaluations in its v5 index, 60 percent of which rely on private datasets or restricted answers

“De v5-index combineert negen evaluaties, waarvan 60 procent op privédatasets of afgeschermde antwoorden berust”

scores DeepSeek V4.1 Flash (Max) at 32 points and $0.60 per index task

“en 32 punten en $0,60 voor DeepSeek V4.1 Flash (Max).”

scores GLM-5.3 (Max) at 32 points and $5.01 per index task

“tegen 32 punten en $5,01 voor GLM-5.3 (Max)”

scores Large 4 (High) at 26 points and $2.06 per index task

“Artificial Analysis geeft Large 4 26 punten en $2,06 per indextaak”

scored Mistral Large 4 (High) at 26 points and $2.06 per index task

“Artificial Analysis zet Large 4 (High) op 26 punten en $2,06 per indextaak”

scores Gemini 4 Carbon at 59 points in version 5.0 of the Intelligence Index

“Artificial Analysis zet Carbon op 59 punten in versie 5.0 van zijn Intelligence Index”

reports that no API is yet available for MAI Image 2.7

“Artificial Analysis vermeldt dat voor 2.7 nog geen API beschikbaar is.”

scores MAI Image 2.6 at 1,151 Elo

“passend bij de 1.151 die Artificial Analysis voor de vorige versie toont.”

ranks MAI Image 2.7 in a range from first to third place

“de tabel geeft 2.7 een rangbereik van 1 tot en met 3, niet één vaste plek.”

scores MAI Image 2.7 at 1,193 Elo from 4,891 comparison rounds, with a 95% interval of 1,178 to 1,208

“Artificial Analysis zet MAI Image 2.7 op 1.193 Elo uit 4.891 vergelijkingsrondes, met een 95%-interval van 1.178 tot 1.208”

measures multilingual capability separately

“Artificial Analysis meet meertaligheid apart.”

lists costs of 0.96 to 13.04 dollars per task for the ten highest-scoring models

“Artificial Analysis geeft kosten van 0,96 tot 13,04 dollar per taak bij de tien hoogst scorende modellen”

expected a weight release to narrow the measured gap between open and closed models from twelve to three points

“Artificial Analysis verwachtte dat de gewichtsrelease het gemeten verschil tussen open en gesloten modellen van twaalf naar drie punten zou verkleinen”

finds Terra gains six points over GPT-5.6 Terra on its Intelligence Index at maximum effort, while measured task cost falls from $1.40 to $0.40

“Artificial Analysis vindt op zijn Intelligence Index dat Terra bij maximale inspanning zes punten wint tegenover GPT-5.6 Terra en de gemeten taakprijs daalt van $1,40 naar $0,40.”

calculates $1.98 per index task for K3.1 Pro and $2 for K3

“De analyse berekent 1,98 dollar per index-taak voor K3.1 Pro en 2 dollar voor K3.”

ranks K3.1 Pro at 55 points, fourth in its Intelligence Index and three points below Claude Opus 5.5

“Artificial Analysis zet K3.1 Pro onafhankelijk op 55 punten, de vierde plek in zijn Intelligence Index en drie punten onder Claude Opus 5.5.”

ranks Max at 997 ±28 after 638 evaluations and Mini at 988 ±28 after 613 evaluations

“De actuele ranglijst van Artificial Analysis zet Max op 997 ±28 na 638 beoordelingen en Mini op 988 ±28 na 613.”

reports a median of 99 million tokens for models in the same price class

“De mediaan voor modellen in dezelfde prijsklasse ligt volgens Artificial Analysis op 99 miljoen tokens.”

measures 180 million output tokens across the ten index evaluations

“en 180 miljoen uitvoertokens over de tien indexevaluaties.”

measures 120.1 output tokens per second through the MiniMax API

“Artificial Analysis registreert ook 120,1 uitvoertokens per seconde via de MiniMax-API”

calculates the task price from token usage and prices per evaluation, weighted by each evaluation's share in the index

“de taakprijs wordt berekend uit tokengebruik en prijzen per evaluatie, gewogen naar het aandeel in de index.”

calculates a weighted average cost of $0.22 per index task for M3.1 Flash

“en een gewogen gemiddelde kost van $0,22 per index-taak”

scores M3.1 Flash 42 points on its Intelligence Index

“Artificial Analysis geeft M3.1 Flash 42 punten op zijn Intelligence Index”

calls the multiple-choice test explicitly text-based in its methodology

“In de methodologie noemt Artificial Analysis de meerkeuzeproef expliciet tekstueel.”

weights four index components equally: knowledge and hallucinations, multiple-choice reasoning, tool selection, and safety classification

“De index weegt vier onderdelen elk voor een kwart: kennis en hallucinaties, meerkeuze-redeneren, gereedschapskeuze en veiligheidsclassificatie.”

scores d1-ultra at 65.2, the highest score among decision models on the current Decision Index

“Artificial Analysis zet d1-ultra op 65,2, de hoogste score onder de beslismodellen op de actuele Decision Index”

excludes tool calls from the benchmark cost calculation

“Toolaanroepen vallen buiten die berekening.”

describes the cost measurement as a fixed selection of forty audio questions, converted to an hour of input audio

“De Artificial Analysis-pagina beschrijft de kostenmeting als een vaste selectie van veertig audiovragen, omgerekend naar een uur inputaudio.”

reports the τ-Voice measurement for GPT-Live-1 with Astra is based on one trial and the measurement for GPT-Realtime-2.1 on two trials

“Artificial Analysis vermeldt bovendien dat de τ-Voice-meting voor GPT-Live-1 met Astra op één proef is gebaseerd en voor GPT-Realtime-2.1 op twee proeven.”

scores Grok Voice 3.0 at 86.9 points on its Speech-to-Speech Index

“Artificial Analysis geeft Grok Voice 3.0 86,9 punten op zijn Speech-to-Speech Index.”

describes the benchmark as a fixed set of English challenge sentences with a preselected American voice

“Artificial Analysis beschrijft de benchmark als een vaste reeks Engelstalige uitdagingzinnen met een vooraf gekozen Amerikaanse stem.”

developed AutomationBench-AA

“De test komt van Artificial Analysis”

places Gemini 4 Argon at 53 points on the Intelligence Index

“Artificial Analysis zet Gemini 4 Argon op 53 punten op de Intelligence Index”

places Gemini 4 Argon at 53 points on the Intelligence Index

“Gemini 4 Argon scoort volgens Artificial Analysis 53 punten op de Intelligence Index”

attributes the drop on GDPval-AA v2.1 mainly to shorter results missing required parts

“Artificial Analysis schrijft de terugval vooral toe aan kortere resultaten die vereiste onderdelen missen”

measures mixed GPT-6 scores

“Artificial Analysis meet gemengde GPT-6-scores”

attributed score decline to shorter results missing required components

“schrijft de terugval vooral toe aan kortere resultaten die vereiste onderdelen missen”

measured mixed GPT-6 scores after price reduction

“Artificial Analysis meet gemengde GPT-6-scores”

ranked MiMo-V2.6-Pro on open-weight leaderboard with 46 points

“MiMo-V2.6-Pro op 46 punten en bovenaan de open-weight ranglijst”

scores Grok 4.7 at 25.8 percent on Terminal-Bench 4.0

“In de onafhankelijke Terminal-Bench 4.0-run zet Artificial Analysis Grok 4.7 op 25,8 procent”

scores Grok 4.7 at 46 points in Intelligence Index v4.3.2

“Artificial Analysis geeft Grok 4.7 in Intelligence Index v4.3.2 een score van 46 punten”

bevestigt de tarieven van Step 5 Preview

“Artificial Analysis bevestigt de $1/$2,70-tarieven en rapporteert een cachekorting van 95 procent”

confirms $1/$2.70 rates and 95% cache discount

“Artificial Analysis bevestigt de $1/$2,70-tarieven en rapporteert een cachekorting van 95 procent”

zet in samengestelde index Gemini 3.8 Live Extended Thinking op 82,6

“De onafhankelijke Speech to Speech-pagina van Artificial Analysis zet Gemini 3.8 Live Extended Thinking op 82,6 in zijn samengestelde index”

rapporteert dat een index-taak met Astra gemiddeld 3,26 dollar kost tegenover 7,63 dollar met Fable 5.1

“gemiddeld kost een index-taak met Astra 3,26 dollar, tegenover 7,63 dollar met Fable 5.1.”

ontkent dat de aanpassingen bedoeld waren om OpenAI te bevoordelen

“ontkent dat de aanpassingen bedoeld waren om OpenAI te bevoordelen.”

plaatst GPT-6 Astra en Claude Fable 5.1 samen bovenaan met 53 punten

“Artificial Analysis zet GPT-6 Astra en Claude Fable 5.1 samen bovenaan met 53 punten”

kent toe 15 punten op de eigen Intelligence Index aan MiniCPM5-2B

“Een onafhankelijke meting van Artificial Analysis geeft het model 15 punten op de eigen Intelligence Index”

laat rusten op geheime testsets

“laat 40 procent van de weging nu rusten op geheime testsets”

herziet Intelligence Index naar versie 4.2

“Artificial Analysis herziet zijn Intelligence Index naar versie 4.2”

meet geen vooruitgang voor GPT-6 Astra ten opzichte van GPT-5.6 Sol

“Artificial Analysis geen enkele vooruitgang meet ten opzichte van de voorganger”

rekent om naar 1,67 dollar per duizend audiominuten

“rekent het nieuwe tarief om naar 1,67 dollar per duizend audiominuten”

teste Muse Spark 1.1

“de eerste externe meting van Artificial Analysis Muse Spark 1.1 op 71,3 op de coding-index”

rekent om naar 5 dollar per duizend minuten

“Artificial Analysis rekent dat om naar 5 dollar per duizend minuten, dus zo'n 30 dollarcent per uur opname.”

mat een snelheid van 3.400 uitgaande tokens per seconde

“Artificial Analysis mat dat op het open model Gemma 4 31B met een context van 100.000 tokens”

vergelijkt de prestaties van Opus 5 en Kimi K3

“Benchmarkpartij Artificial Analysis zet Opus 5 op zijn hoogste effort-stand op 63 punten in zijn intelligentie-index tegen 60 voor Kimi K3”

evalueerde DeepSeek-V4-Pro

“Meetbureau Artificial Analysis heeft 0813 inmiddels doorgemeten en komt uit op 53 op zijn Intelligence Index”

geeft een score van 60 aan Kimi K3

“en 60 voor Kimi K3”

geeft een score van 62 aan Claude Fable 5

“tegen 62 voor Claude Fable 5”

geeft een score van 53 aan DeepSeek-V4-Pro

“Meetbureau Artificial Analysis heeft 0813 inmiddels doorgemeten en komt uit op 53 op zijn Intelligence Index”

berekende prijzen voor V4-Flash en GPT-5.6 Luna

“Meetbureau Artificial Analysis komt voor V4-Flash uit op een gemengde prijs van 0,06 dollar per miljoen tokens”

rangschikt H3

“Artificial Analysis zet H3 op één bij videobewerking met een Elo van 1130”

zet H3 op één voor videobewerking

“Meetplatform Artificial Analysis zet H3 op één voor videobewerking”

plaatst op Intelligence Index V4-Flash op 50 tegen 56 voor Claude Opus 4.8

“Op de onafhankelijke Intelligence Index van Artificial Analysis staat V4-Flash op 50 tegen 56 voor Claude Opus 4.8”

geeft 40 punten op de Intelligence Index aan Inkling Small

“Inkling Small haalt 40 punten op de Intelligence Index”

geeft Kimi K3 een score van 57 op zijn Intelligence Index

“Onafhankelijk testlab Artificial Analysis geeft K3 een score van 57 op zijn Intelligence Index”

geeft Kimi K3 een score van 57 op Intelligence Index

“Artificial Analysis geeft K3 een score van 57 op zijn Intelligence Index”

berekent gemiddelde kosten per taak van Sonnet 5: $2,29, Sonnet 4.6: $1,20, Opus 4.8: $1,97

“Artificial Analysis komt uit op gemiddeld $2,29 per taak voor Sonnet 5, tegen ongeveer $1,20 voor Sonnet 4.6 en $1,97 voor het duurdere Opus 4.8”

verwijderde uit ranglijst en verving DeepSWE

“Artificial Analysis haalde SWE-Bench Pro medio juni al uit zijn ranglijst en verving het door DeepSWE”

launches Artificial Analysis Progress Index v1, which tracks model development on one scale

“Tegelijk lanceert Artificial Analysis Progress Index v1, die de ontwikkeling van modellen sinds november 2022 op één schaal volgt.”