Gemini 4 Argon scoort 97,5% met adapter en 49,8% standaard

Gemini 4 Argon haalt op ARC-AGI-3 97,5% met Provider Adapter en 49,8% met Standard, meldt ARC Prize. De stichting testte het model in drie redeneerstanden en twee testharnassen.

Voor Nederlandse organisaties die AI-modellen kiezen, betekent dit dat de uitslag mede afhangt van de geheugenfuncties rond het model. Provider Adapter bewaart verborgen redeneertoestand en vat langere gesprekken samen; Standard laat het model zelf notities tussen beurten meenemen. De percentages horen daarom bij verschillende testconfiguraties.

De test meet meer dan het model

ARC-AGI-3 laat systemen onbekende interactieve omgevingen verkennen, regels afleiden en doelen bereiken. In de semi-private v3-test rapporteert ARC Prize scores op drie redeneerstanden en twee harnassen. De tabel laat zien hoe de uitkomst meebeweegt met de gekozen configuratie.

ARC Prize definieert de twee harnassen als verschillende evaluatievoorwaarden. Standard gebruikt een provider-neutrale interface en laat het model zelf kiezen welke notities het bewaart. Provider Adapter gebruikt functies van de modelaanbieder, waaronder het bewaren van verborgen redeneertoestand en het samenvatten van lange gesprekken. Een model dat in die tweede omgeving werkt, krijgt dus een andere geheugenlaag.

API-problemen beperken de standaardrun

ARC Prize meldde dat API-problemen de Standard-evaluatie onvolledig maakten. Bij lage redeneerkracht werden 42 van 55 spellen afgerond, bij middelhoge kracht 46 en bij hoge kracht 19. Voor de hoge Standard-run publiceerde ARC daarom geen score. De overige scores tellen alle 55 spellen mee, met behoud van deelpunten uit afgebroken runs.

De stichting schatte de benchmarkruns op $4.800 met Provider Adapter en $5.800 met Standard, berekend op Googles introductietarieven. Die bedragen zijn de gemelde kosten van de evaluatie, geen raming van een Nederlandse bedrijfsrekening. De testpublicatie vertaalt ze niet naar kosten per bruikbare taak in een werkproces.

De rapportage noemt zowel de andere geheugenfuncties als de onvolledige Standard-runs. Ze splitst niet uit welk deel van het scoreverschil voortkomt uit de interface, de modelprestatie of de afgebroken runs. De 49,8% is berekend uit 42 afgeronde spellen en deelpunten uit de overige 13 runs.

De ARC-score volgt op Googles eigen tests

Toen Google Argon op 30 september aankondigde, richtte het model op softwareontwikkeling, kenniswerk en cyberverdediging. Het bedrijf rapporteerde toen onder meer 77,9% op DeepSWE v1.1 voor software-engineering en 51,3% op AutomationBench voor meerstapswerk in bedrijfsfuncties, scores uit Googles eigen evaluatiepakket. Dat zijn andere taken en meetopzetten dan de interactieve ARC-AGI-3-proef.

Google rapporteerde ook 68% op CWE-bench v1 voor het verhelpen van kwetsbaarheden, gelijk aan GPT-6 Astra. Die cyberbeveiligingsscore van Argon gaat over een afgebakende taak; ARC-AGI-3 meet interactieve probleemoplossing. De twee metingen belichten verschillende delen van het model.

Google biedt Argon via de Gemini API aan. Een miljoen invoer- plus een miljoen uitvoertokens kost volgens de officiële prijstabel $12 tot en met 30 november en $24 vanaf 1 december. De API-uitrol met de tijdelijke introductieprijs van $12 maakt een eigen proef concreet; de ARC-bedragen zijn de gemelde kosten van de benchmarkruns.

Andere meetlatten geven een gemengd beeld

Binnen dezelfde ARC-harnasvergelijking scoort GPT-6 Astra bij hoge redeneerkracht 99,9% met Provider Adapter, tegenover 97,3% voor Argon. Bij dezelfde hoge stand haalt Astra 54,8% met Standard; Argon heeft daar geen score doordat de run onvolledig bleef. De ARC-scorekaart voor GPT-6 maakt een directe vergelijking mogelijk bij de gedeelde adapter en redeneerstand; voor Argons hoge Standard-run is er geen overeenkomstige score.

Buiten ARC zet Epoch AI Argon op 165 punten in de Epoch Capabilities Index, gelijk aan Fable 5.1 en onder GPT-6 Astra met 166 en Opus 5.5 met 167. Epoch AI beschrijft de index als een samengestelde maat die scores uit verschillende benchmarks omzet in één algemene vaardigheidsschaal. Epochs vroege domeinschattingen plaatsen Argon achtste voor wiskunde en zesde voor software-engineering. De uitkomsten per domein lopen daarmee uiteen, ook wanneer één scorekaart Argon dicht bij de kopgroep zet.

Een benchmark is geen werkproef

ARC Prize beschrijft ARC-AGI-3 als een interactieve test met deterministische, gesloten spelregels. De stichting schrijft zelf dat die afgebakende omgevingen niet de openheid van de echte wereld vertegenwoordigen en dat een hoge score geen bewijs voor AGI is. De test geeft een vergelijkingspunt voor adaptief gedrag; prestaties op Nederlandse dossiers, codebases of klantprocessen vragen om aparte metingen.

De ARC-publicatie laat zien dat een modelresultaat samenhangt met de volledige testopstelling: modelnaam, interface, geheugenfunctie, redeneerstand, afgeronde taken en prijsgrondslag. Voor een organisatie die Argon via de API overweegt, blijft de relevante uitkomst afhangen van de eigen taak en de gebruikte configuratie. De ARC-cijfers geven aanleiding om zo’n proef op te zetten; ze beantwoorden nog niet hoeveel werk Argon in een bedrijfsproces zelfstandig afrondt. ARC Prize licht die begrenzing en het doel van de benchmark toe.