Alisina NawabiGemini Decision 1 scoort 66 punten tegenover 62 voor Microsoft-Decision-1 op de Decision Index v2.1 van Artificial Analysis, die achttien beslismodellen op één bord zet.
Voor een Nederlands supportteam dat klantvragen automatisch indeelt, maakt die lijst de eerste selectie concreter. De modelprofielen van Artificial Analysis ramen Gemini op $345 per miljoen indextaken en 211 milliseconden per taak en Microsoft op $143 per miljoen indextaken en 274 milliseconden. De voorsprong van vier punten staat dus naast een geraamde meerprijs van $202 per miljoen indextaken. Dat is een berekening op de testmix, geen universeel prijskaartje voor Nederlandse klantvragen.
De index weegt zes soorten werk
De Decision Index brengt juistheid en zekerheid samen in één score. Google gebruikt Gemini Decision 1 in een API die tot 1.000 vaste vragen over één gedeelde invoer kan beoordelen. Artificial Analysis combineert vijf Decision Scores met een maat voor consistentie. De score beloont correcte antwoorden en houdt rekening met de zekerheid die het model eraan koppelt. Een fout met lage zekerheid wordt minder zwaar bestraft dan een stellige fout.
De index verdeelt het gewicht over zes tests:
- AA-Paperclip (30 procent): 1.500 cv’s, bonnetjes, facturen en onderzoeksartikelen. De antwoorden per document tellen samen als één beslissing.
- EvalSafe-O*NET-AA (15 procent): oordelen over werkdocumenten.
- When2Call (10 procent): NVIDIA’s test voor toolkeuze.
- AA-Omniscience-Decision (15 procent): kennis en hallucinaties.
- HLE-MultiChoice (15 procent): meerkeuzevragen uit Humanity’s Last Exam.
- AA-Symmetry (15 procent): controle of antwoorden standhouden wanneer opties of formuleringen veranderen.
Die samenstelling bepaalt wat de totaalscore betekent. Een organisatie die vooral inkomende facturen indeelt, kijkt naar een andere foutsoort dan een team dat toolkeuzes van een agent controleert. De index brengt zulke taken samen in één cijfer, maar geeft ze geen gelijk gewicht.
De voorsprong verschuift per taak
OrcaRouter meldt dat de voorsprong per testonderdeel verschuift. Gemini scoort hoger op AA-Omniscience (66,3 tegenover 54,9) en op HLE-MultiChoice 48,7 tegenover 39,4. Microsoft staat voor op When2Call met 88 tegenover 80,5 voor Gemini. Op AA-Paperclip, het zwaarst wegende onderdeel voor documentbeslissingen, zijn de scores 56,8 voor Gemini en 51,8 voor Microsoft. EvalSafe ligt dicht bij elkaar met 87,1 tegenover 86,8. Ook AA-Symmetry scheelt weinig: 70,5 tegenover 70,4. De aparte releaseanalyse van OrcaRouter noteert Gemini op 66 punten en rang negen van achttien. Dit zijn onderdeelsscores, geen kans dat een Nederlandse klantmail juist wordt gerouteerd. OrcaRouter verkoopt zelf modelroutering en bespreekt ook de rol van een router. Die commerciële positie maakt het een marktlezing, geen tweede onafhankelijke meetinstantie.
De API’s maken de vergelijking concreet
De index volgt op twee verschillende productroutes. Google noemt in zijn eigen aankondiging tekst, afbeeldingen, audio, video en pdf’s als invoer.
Microsoft bracht Decision-1 uit voor routering, classificatie en workflowcontrole. Microsoft vergelijkt het model in zijn eigen publicatie op 36 benchmarksets en bijna 150.000 vragen. Die leveranciersmeting geeft een andere testopzet dan de zes onderdelen van Artificial Analysis. De AA-index biedt daardoor één gedeelde score voor beide modellen, maar maakt de interne claims van Google en Microsoft niet rechtstreeks vergelijkbaar met elkaar.
De berichtgeving rond Googles lancering maakt dat bronverschil zichtbaar. The Decoder verwijst voor de aankondiging naar Googles eigen blog en MarkTechPost doet dat eveneens. Beide beschrijven de API en de bedoelde toepassingen. Dat helpt de release en de bedoelde toepassingen te bevestigen, maar het levert geen tweede meting van de 66 tegenover 62 op. OrcaRouter vraagt in zijn vergelijking eveneens om een tweede onafhankelijke ranglijst die beide modellen test.
Een score is nog geen lokale test
Artificial Analysis publiceert de weging, evaluatiedefinities en scoreformule. Tegelijk blijft het een scorekaart van één onderzoeksorganisatie, met een eigen samengestelde testmix. Een deel van de index is een private dataset. De openbare vergelijking geeft geen foutpercentage op Nederlandstalige supportmails, eigen beleidsregels of facturen uit een specifiek bedrijf.
De index laat wel zien welke onderdelen een team nader kan bekijken. De vierpuntenvoorsprong van Gemini staat naast Microsofts hogere score voor toolkeuze en een lagere prijsinschatting per miljoen indextaken. Voor een proces met klantvragen telt ook hoe vaak een onzekere score naar een medewerker gaat en wat een verkeerde afdelingstoewijzing kost. Dat staat niet in de totaalscore.
De Decision Index zet Google en Microsoft op één meetlat voor zes beslisvaardigheden. De gewichten maken duidelijk welke testfamilies die meetlat belangrijk vindt, maar ze zijn niet gelijk aan de takenmix van een Nederlandse helpdesk. De eigen verdeling van juiste routeringen, gemiste gevallen en menselijke controles blijft daarom de ontbrekende vergelijking.
Veelgestelde vragen
Van score naar werkproces
Een beslismodel levert pas waarde als het in je eigen proces past. Ik denk mee over de keuze, ontwerp de toepassing en realiseer de koppelingen en automatisering, self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
