AWS publiceert open-source raamwerk voor agenttests

UAEF, dat AWS op 11 november als open-source raamwerk met 36 meetwaarden over zeven kwaliteitsdimensies publiceert, vergelijkt agentversies uit verschillende frameworks en maakt regressies vóór release zichtbaar.

Een modelwissel, promptaanpassing of nieuwe tool kan dezelfde testset doorlopen als de vorige release. Bij een agent voor klantvragen, inkoop of interne ondersteuning laat de uitslag per dimensie zien waar verandering tot verbetering of terugval leidt. Zo kan een Nederlands team de impact op de taak beoordelen voordat het een nieuwe versie uitrolt.

Een gedeeld spoor maakt vergelijking mogelijk

Frameworks slaan een agentrun verschillend op. LangGraph, LangChain, Strands Agents, Bedrock AgentCore en Langfuse gebruiken andere vormen voor berichten, toolaanroepen en overdrachten. UAEF-adapters zetten die traces om in één AgentTrace, waarna dezelfde evaluatie-engine ze beoordeelt. Het raamwerk kan bestaande logs verwerken of een agent per testvraag zelf aanroepen.

Een dataset bevat minimaal één vraag per testgeval. Het verwachte antwoord is optioneel. Metingen die agentantwoorden met een referentie vergelijken vallen weg zonder dat antwoord. Tooltests vragen ook om de verwachte tool, volgorde en argumenten. Het team moet deze set bijwerken als bedrijfsregels veranderen.

De 36 meetwaarden beslaan toolgebruik, antwoordkwaliteit, verantwoord AI-gebruik, prestaties, gesprekken met meerdere beurten, samenwerking tussen agents en redenering. Scores lopen van nul tot één. UAEF controleert traces op onder meer e-mailadressen, telefoonnummers en creditcardnummers voordat ze worden opgeslagen; redactie van de opgeslagen kopie is een aparte instelling.

Een basisversie maakt regressies zichtbaar

Een run kan als experiment worden opgeslagen. DynamoDB houdt gegevens voor sorteren en vergelijken bij, terwijl S3 de volledige resultaten bewaart. De registratie kan framework, model, tools, systeemprompt, parameters en Git-commit vastleggen. Zo koppelt de vergelijking een afwijkende score aan de wijziging die eraan voorafging.

UAEF vergelijkt gemiddelde scores per meetwaarde met een gekozen basisversie. De standaarddrempel is 5 procent; kleinere verschillen tellen niet als regressie. Dalingen van 5 tot 10 procent zijn licht, van 10 tot 20 matig en boven 20 ernstig. Rapporten groeperen afwijkingen per dimensie en tonen desgewenst betrouwbaarheidsintervallen en uitschieters. Die worden uit opgeslagen scores berekend, zonder extra modelaanroep.

Het project valt onder de Apache 2.0-licentie. De README beschrijft de Python-bibliotheek, webinterface en adapters voor frameworks en aangepaste JSON-traces. De bibliotheek past in notebooks, scripts en CI/CD; de inzetbare webdienst gebruikt dezelfde engine. LLM-jury's draaien via Amazon Bedrock, dus onafhankelijk van het agentframework betekent niet dat iedere functie losstaat van AWS.

De productiecontrole loopt op een andere laag: AgentCore Evaluations kan zestien evaluatoren asynchroon uitvoeren op een instelbare steekproef van 0,01 tot 100 procent van live traces. AWS DevOps Agent koppelt bij incidenten CloudWatch-logs, IAM-permissies en runtime-sporen om de technische oorzaak te vinden. UAEF voegt daar de herhaalbare vergelijking van experimenten en versies aan toe.

De LLM-jury moet bewijs tonen

UAEF berekent sommige scores met vaste logica, zodat dezelfde trace dezelfde uitslag krijgt. Subjectievere metingen zoals relevantie en veiligheid gaan naar een LLM-jury op Amazon Bedrock. Omdat die agentuitvoer leest, kan de tekst proberen de jury te sturen. UAEF behandelt die uitvoer als onbetrouwbare invoer, houdt de beoordelingsinstructie apart van de agentuitvoer, neutraliseert de begrenzingstekens en controleert het antwoordformaat.

Wanneer UAEF de beoordelingsinstructie zelf levert, moet de jury een letterlijk fragment uit de agentuitvoer aanhalen. De code verifieert of het citaat echt in de beoordeelde tekst staat; zonder geldig citaatbewijs wordt de score verworpen. De beveiligingsdocumentatie beschrijft ook de grenzen: zelf aangeleverde jurytemplates krijgen de controle niet automatisch en geen tekstgrens is bestand tegen iedere modelaanval.

Een gevonden citaat bewijst dat de agent de tekst heeft geproduceerd, niet dat het antwoord inhoudelijk klopt. AWS noemt LLM-juryscores daarom een evaluatiesignaal, geen veiligheidsbesluit. Ze kunnen een regressiecheck ondersteunen, maar horen op zichzelf niet te bepalen of een agent een betaling mag uitvoeren of een klant mag afwijzen.

Framework-onafhankelijk is geen primeur

AWS beschreef AgentCore Evaluations op 26 augustus al als framework-agnostisch. De dienst leest traces uit onder meer LangGraph, OpenAI Agents SDK, LlamaIndex, Google ADK, Claude Agent SDK en Strands. De huidige AWS-documentatie noemt integraties met Strands en LangGraph via OpenTelemetry en OpenInference. UAEF bundelt directe adapters, opgeslagen experimenten en versievergelijkingen in een open-source bibliotheek en inzetbare AWS-webdienst. AgentCore Evaluations biedt een beheerde route op basis van gestandaardiseerde traces.

Ook buiten AWS worden kwaliteitsmetingen aan agentgebruik gekoppeld. Cisco zegt dat Tokenomics kosten per agent verbindt met de kwaliteit en bedrijfsimpact van het werk, terwijl de evaluatiemodellen in november starten en Tokenomics na een private preview in december begin 2027 naar AWS Marketplace moet komen. Dat is een andere meetlat: UAEF vergelijkt agentversies, Cisco verbindt kosten aan bedrijfsuitkomsten.

AWS zegt dat twaalf organisaties in telecom, zorg en financiële diensten UAEF vóór release hebben gebruikt, maar noemt geen klantnamen of resultaten. TechTimes kon de gebruiksclaim niet onafhankelijk verifiëren, meldt dat juryscores licht kunnen verschillen en schrijft dat een verwijderde UAEF-CDK-stack de DynamoDB-tabellen, S3-buckets en Cognito-pool laat staan tot handmatige opruiming, terwijl AWS-kosten doorlopen. Daaruit volgt dat de aankondiging de werking van het systeem beschrijft, maar geen gemeten verbetering bij die organisaties laat zien.

Een testuitslag zegt hoe een agent de gekozen vragen en beoordelingscriteria doorloopt. De zakelijke betekenis hangt af van de uitzonderingen in die testset en van wat als fout telt. Een productiescorecard meet daarom ook uitzonderingsratio, bewijsvolledigheid, menselijke vrijgave en gecontroleerde ERP-teruglezing voordat een team werk opschaalt. Herhaalbare evaluatie maakt wijzigingen vergelijkbaar; de grens voor een geslaagde taak blijft bij de organisatie zelf.