Alisina NawabiHyper-τ-Bench maakt agentbouw meetbaar: Sierra stelt op 8 september een open benchmark beschikbaar waarin coding-agents een klantagent bouwen en die op afgeschermde klanttaken laten presteren.
Voor een Nederlandse ondernemer verandert daarmee de toets voor een klantagent. Het gaat niet alleen om code of een goed antwoord, maar om requirements uit bedrijfsdocumenten halen, een klant ondervragen, bestaande systemen via een API bedienen en binnen een kostenlimiet betrouwbare gesprekken voeren.
Een echte klantopdracht in een sandbox
De developer-agent krijgt de documenten en gegevens die een bedrijf in de praktijk bij elkaar heeft: handboeken, supportgesprekken, spreadsheets, screenshots, opnames en een client-API. Een gesimuleerde klant kan aanvullende eisen kennen. De agent moet die informatie verzamelen, een architectuur kiezen en een uitvoerbare klantservice-agent opleveren.
Daarna draait die gebouwde agent tegen gesimuleerde klanten op verborgen taken. Het modelmenu en het budget per gesprek liggen vast. Ook kan de API van de klant subtiele fouten bevatten. De benchmark test zo het hele traject van specificatie naar werkend systeem, niet alleen de kwaliteit van één antwoord.
De openbare repo bevat 53 taken in vier domeinen: luchtvaart, retail, telecom en bankieren. Sierra publiceert de code onder de MIT-licentie, zodat teams de opzet kunnen bestuderen en zelf draaien.
De scorekloof is geen modelranglijst
De resultaten zijn hard. Over die 53 taken haalt de beste geautomatiseerde combinatie, Claude Opus 5 met Claude Code, 23,9 procent. Een expertreferentie, waarbij een engineer met diepe context samenwerkt met een frontier-model, haalt 82,2 procent op dezelfde evaluaties.
Die vergelijking is geen losse modeltest. De score omvat ook hoe goed de developer requirements vindt, een architectuur kiest, API-fouten opvangt, het budget beheert en eigen tests bouwt. Sierra zag op bankingtaken dat agents minder dan 80 van ongeveer 1.700 bestanden openden. Ze stelden hooguit vier vragen terwijl de gesimuleerde klant voor 20 tot 25 requirements de enige bron was. In 92 procent van de builds bleef de architectuur één enkele LLM-tool-lus.
Voor een bedrijf maakt dat onderscheid zichtbaar wat in een offerte snel vervaagt: een model kan een taak uitvoeren, terwijl het bouwproces nog geen betrouwbare agent oplevert. De relevante bewijzen liggen naast antwoordkwaliteit: welke bronnen zijn gelezen, welke eisen zijn uit de klant gehaald, hoe zit de API-adapter in elkaar, wat kost een gesprek en hoe presteert de agent op ongeziene gevallen.
Ook het rekenbudget hoort bij de score. Een eerdere AISI-meting liet zien dat een tienvoudig tokenbudget het slagingspercentage op softwaretaken ongeveer 25 procent kan verhogen. Hyper-τ-Bench legt daar een tweede laag overheen: niet alleen hoeveel rekenruimte een agent krijgt, maar wat hij met bedrijfskennis, klantinformatie en operationele grenzen doet.
De maatstaf voor agentbouw verschuift daarmee. De vraag is niet langer alleen of een model een antwoord kan geven, maar of het uit rommelige werkelijkheid een systeem kan bouwen dat onder echte kosten- en procesgrenzen blijft werken. Hyper-τ-Bench maakt precies die stap zichtbaar.
Veelgestelde vragen
Agenten die echt werken
Ik denk mee over de juiste taak, ontwerp de agent rond je eigen processen en bouw het hele traject tot een werkende automatisering. Waar het kan houd ik data en software self-hosted, zodat je niet alleen een demo krijgt maar grip op het systeem.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
