Alisina NawabiStrands Decider 2B, AWS’ open beslismodel van 1,9 miljard parameters, kiest uit vaste antwoorden en haalt volgens AWS een mediaan van 115 milliseconden op een Nvidia RTX 3090.
Voor Nederlandse organisaties kan zo’n beslislaag eenvoudige keuzes lokaal afhandelen, zodat een agent die niet telkens naar een groot, gehost taalmodel hoeft te sturen. Daarmee verschuift een deel van de rekensom naar eigen rekenkracht en beheer.
De aanleiding komt volgens AWS-ingenieur Marc Brooker uit gesprekken met klanten. Hij vertelde TechCrunch dat een beslismodel agentstappen met lagere latentie en mogelijk lagere kosten kan afhandelen.
Een keuze, geen gesprek
Strands Decider schrijft geen vrije tekst. Het kiest tussen opgegeven opties, beantwoordt ja-neevragen of geeft een score met een betrouwbaarheidsschatting. AWS noemt modelroutering, toolkeuze en het controleren van toolargumenten als mogelijke taken. De repository deelt de code, trainingsdata en scripts onder Apache 2.0.
De toepassing bepaalt zelf wat de uitkomst doet. In het Strands-voorbeeld koos een ontwikkelaar vragen en drempels handmatig; een aparte integratiebibliotheek is nog in ontwikkeling.
Snel, binnen een smalle test
Op de openbare JevBench-set behaalde versie v19 167 goede antwoorden uit 231 taken, oftewel 72,3 procent. AWS plaatst het model derde van 33 in de 2B-klasse en meldt 153 milliseconden mediaan voor kleine taken op een M3 MacBook.
De test voorspelt niet hoe het model op de eigen vragen van een bedrijf presteert. De modelkaart zegt dat de betrouwbaarheidsschatting alleen op korte classificatietaken is getest. Daarom is die score niet vanzelf een betrouwbare vrijgavegrens voor elke workflow.
Strands Decider sluit aan op AWS’ open agentlaag: bij dezelfde GPT- of Claude-modellen mat AWS in zes benchmarks 28 procent minder tokens. Die rollen kunnen het werk verdelen: een klein model voor vaste keuzes, een groot taalmodel voor open antwoorden en complex redeneerwerk. De snelheid is meetbaar; de totale kostprijs hangt af van hardware, beheer en eigen gebruik.
Veelgestelde vragen
Een eigen laag voor agentbesluiten
Ik denk mee over de beslissingen in je agentproces, ontwerp de hele oplossing en bouw die door tot de koppelingen en automatisering werken. Waar het kan draait de software op je eigen infrastructuur.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
