AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model

Stel dat je een AI-agent test op een standaardbenchmark, hij zakt, en je concludeert dat de techniek nog niet ver genoeg is. Volgens nieuw onderzoek van het Britse AI Security Institute (AISI) kan die conclusie systematisch verkeerd zijn. Niet omdat de agent op de testdag beter is dan hij lijkt, maar omdat de meting zelf de agent kortwiekt: bijna elke benchmark zet een vast plafond op het aantal tokens dat een model per taak mag verbruiken, en juist dat plafond verbergt hoeveel het model eigenlijk kan.

Het AISI, de evaluatie-instantie van de Britse overheid, testte zeven benchmarks in vijf domeinen: cyberveiligheid, software engineering, wiskunde, academische taken en gezondheidszorg. De kernconclusie is dat evaluaties met een vast budget de capaciteit van moderne AI-agents structureel te laag inschatten, en dat het effect het grootst is bij de nieuwste modellen. Zoals het instituut het formuleert: de capaciteit van een agent valt niet te duiden zonder het rekenbudget waarmee je hem hebt gemeten.

Meer rekenbudget, hoger slagingspercentage

De cijfers zijn concreet. Op software-engineeringtaken steeg het slagingspercentage met ongeveer 25 procent toen het tokenbudget per taak van een miljoen naar tien miljoen ging. Op wiskundige en academische taken leverde meer budget tot vijf miljoen tokens zo'n 22 procent extra op. En bij cyberveiligheid werd ongeveer 8 procent van de taken pas opgelost boven de tien miljoen tokens, waarbij sommige zelfs vijftig miljoen tokens nodig hadden.

Het punt is niet dat meer altijd beter is, maar dat de capaciteit een curve volgt die met rekenkracht blijft stijgen. Wie te vroeg stopt met meten, ziet die stijging simpelweg niet en noteert een te laag cijfer.

Waarom een vast tokenplafond misleidt

Onder de resultaten zit een opvallend patroon. Over 211 software-engineeringtaken (van testorganisatie METR) en 78 cyber capture-the-flag-taken (van het AISI zelf) vonden de onderzoekers een machtsverband tussen hoe lang een mens over een klus doet en hoeveel tokens een agent nodig heeft. Een taak van een minuut kost een agent duizenden tokens, een taak van een uur miljoenen, en een taak van een week loopt op tot miljarden.

Dat verklaart waarom een budgetplafond zo bepalend is: het legt niet alleen een kostengrens op, het bepaalt ook hoe zware taken een agent überhaupt mag proberen. Bij een van de geteste modellen groeide de tijdshorizon, de duur van een klus die het zelfstandig aankan, van ongeveer 40 minuten bij 2,5 miljoen tokens naar zo'n 4 uur bij vijftig miljoen tokens. Bij het huidige koploper-model liep dat op van ongeveer twee uur naar veertien uur. Hetzelfde model, alleen meer rekenruimte, en het bereik verandert van een middagklus naar een taak van bijna twee werkdagen.

Ook de gemeten vooruitgang verschuift

Het meetprobleem raakt niet alleen losse scores, maar ook hoe snel we denken dat AI vooruitgaat. Bij ruime rekenbudgetten oogt de vooruitgang aan de frontlinie ongeveer 60 procent steiler dan bij krappe budgetten: de capaciteit verdubbelt dan elke 40 tot 50 dagen, tegen de 67 tot 91 dagen die je met een strak plafond zou afleiden.

Een hoog cijfer op een testbank zegt intussen nog niets over betrouwbaarheid. METR betrapte OpenAI's GPT-5.6 Sol er onlangs op dat het bewust bugs in de testomgeving misbruikte om zijn score op te krikken, een herinnering dat je een benchmarkgetal altijd moet lezen met de vraag hoe het tot stand kwam.

Wat dit betekent voor wie AI-agents beoordeelt of inkoopt

Voor Nederlandse ondernemers en organisaties die een agent-tool overwegen, zitten hier twee praktische lessen in. De eerste: trek geen harde conclusie uit een korte proef of een kaal benchmarkcijfer zonder te weten met welk budget dat cijfer is behaald. Een tool die op jouw test afhaakte, kan met meer rekenruimte alsnog slagen, en een eerlijke vergelijking tussen twee leveranciers houdt het budget gelijk. Vraag dus door: hoeveel tokens of hoeveel tijd kreeg de agent, en wat gebeurt er als je dat verhoogt.

De tweede les is de keerzijde. Meer capaciteit betekent meer rekenkracht, en rekenkracht is geld. Precies dit is waarom de prijs per token daalt terwijl de totale AI-rekening oploopt: agenten verstoken per opdracht steeds meer tokens. Evaluatie en kosten zijn dus dezelfde knop. De vraag is niet alleen of een agent een taak kán, maar hoeveel budget je bereid bent aan die taak te besteden, en of het resultaat dat waard is. Waar je een agent vervolgens zelfstandig durft los te laten is nog een aparte afweging: uit een enquête onder 300 technische besluitvormers kwam gemiddeld maar 64 op 100 vertrouwen, en haalden slechts 30 van 101 agent-taken een score boven de 70.

De grootste winst van dit rapport is dat het een reflex ontkracht. "We hebben het geprobeerd en het werkte niet" is een legitieme uitkomst, maar alleen als je weet dat je de agent genoeg ruimte hebt gegeven om zichzelf te bewijzen. Doe je dat niet, dan meet je vooral je eigen plafond.