Alisina NawabiMicrosoft publiceert Agensh op 24 oktober onder MIT: 1.024 agenten halen met de coördinatielaag 55,06% van de Pandoc-tests bij het nabouwen van software binnen zes uur.
Een Nederlands softwareteam kan nu de coördinatielaag achter parallel codewerk inspecteren en aanpassen. De schaal uit de benchmark is geen standaardinstelling: de 1.024-agentproef duurde zes uur en liep over 16 nodes, terwijl de meegeleverde teamopzet standaard met acht agenten op één node start.
De agenten delen een werkvloer
Agensh is een organisatielaag bovenop een bestaande agentloop. Het onderliggende harnas regelt per agent de modelaanroepen en het gebruik van tools. Agensh regelt hoe agenten taken claimen, gedeelde toestand lezen, voortgang uitwisselen en hun werk samenvoegen. De samenwerkingsregels staan grotendeels in de prompt die elke agent krijgt, zodat geen centrale planner iedere stap hoeft toe te wijzen.
De cyclus begint met het lezen van het gezamenlijke doel en de voortgang van collega's. Een agent claimt een deeltaak, bespreekt overlap via berichten, voert het werk uit, controleert de bijdrage en voegt de code samen in de gedeelde werkruimte. Daarna begint de cyclus opnieuw. Een volgende agent kan bevindingen hergebruiken of een vastgelopen wijziging overnemen.
Drie onderdelen dragen die samenwerking. Gitea houdt de gedeelde code en pull requests bij, Mattermost verzorgt team- en directe berichten, en een contextlaag bewaart claims, feiten en eerdere bevindingen. Die laag is afgeleid van DeLM. In de paper beschrijven de onderzoekers hoe peercoördinatie bij acht agenten uitgroeit tot integratiewerk en gestandaardiseerde controles bij 32 en 128 agenten. Bij 1.024 agenten ontstaan ook gespecialiseerde integratierollen. Die rollen zijn niet vooraf in het programma vastgelegd.
De 55,06% hoort bij Pandoc
ProgramBench vraagt agenten om het gedrag van bestaande software na te bouwen op basis van waarnemingen en meegeleverde documentatie. Er is geen internetverbinding en elke opdracht heeft een budget van zes uur. Microsoft koos de vijf zwaarste taken: FFmpeg, gromacs, Pandoc, PHP-src en ctags. Met GPT-5.6-sol op hoog redeneerniveau stijgt het gemiddelde uiteindelijke testpasspercentage over die vijf taken van 19,31% met één agent naar 28,78% met 128 agenten. Dat is 9,47 procentpunt meer, of ongeveer 49% relatief.
De proef met 1.024 agenten geldt alleen voor Pandoc. Daar loopt het testpasspercentage op van 33,89% met één agent naar 50,94% met 128 en 55,06% met 1.024 agenten. De stap van 128 naar 1.024 voegt 4,12 procentpunt toe; tegenover één agent is de stijging 21,17 procentpunt. De paper koppelt de 55,06% aan deze zesuurstest waarin agenten Pandoc zonder internet van buitenaf reconstrueren. Het cijfer is dus geen gemiddelde over alle vijf taken en meet geen algemene programmeerkwaliteit.
De repository-README voegt een aparte Pandoc-reeks toe met GPT-6.1-sol op hoog redeneerniveau: 56,19% met één agent en 79,59% met 32 agenten, een relatieve stijging van 41,64%. Dat is een andere modelrun. De uitkomst kan daarom niet rechtstreeks naast de GPT-5.6-sol-reeks worden gelegd, en de README meldt voor GPT-6.1-sol geen proef met 1.024 agenten.
Andere aanbieders meten een andere laag
De open release volgt op andere bewegingen rond agentinfrastructuur. AWS’ Strands Harness laat een algemene agent lokaal of in een andere cloud draaien en van model wisselen. AWS meldt 28% lagere kosten over zes benchmarks met hetzelfde Claude- of GPT-model en vrijwel gelijke scores. Dat resultaat gaat over de efficiëntie van een kant-en-klare agent. Agensh onderzoekt hoeveel agenten via gedeelde toestand kunnen coördineren op een afgebakende codeopdracht.
Anthropic kiest met Managed Agents voor een beheerde API. De dynamische workflows hebben volgens de documentatie ruimte voor 1.000 agentstarts over een hele run en maximaal 64 actieve threads tegelijk. Die beta-workflows verdelen meerfasige taken over agentthreads, maar de genoemde 64 is geen vaste API-garantie. De aantallen meten dus verschillende dingen: een limiet per beheerde workflow bij Anthropic en een onderzoeksschaal over 16 nodes bij Agensh.
De standaardproef begint met acht agenten
De vrijgegeven repository bevat een teamopzet voor één node en een afzonderlijke basisversie met één agent. De standaardinstellingen zijn acht agenten, zes uur per taak en GPT-5.6-sol op hoog redeneerniveau. De handleiding vraagt Linux, Docker Engine, Compose v2, systemd, cgroup v2 en Python 3.11 of hoger. Voor de gemeten proef met 1.024 agenten verdeelden de onderzoekers de agenten over 16 nodes, met 64 agenten per node.
Een bedrijf kan de code onder MIT gebruiken, maar dat maakt de proef zelf niet gratis. De publicatie noemt testpasspercentages en tijdstippen waarop grotere groepen een score bereiken, maar geen tokenverbruik of totale rekening voor model- en infrastructuurkosten. Ook reviewtijd per samengevoegde wijziging staat niet in de scorekaart. De 55,06% vertelt daarmee hoeveel Pandoc-tests slaagden binnen de opzet, niet wat elke geslaagde wijziging kostte.
De release zet de samenwerkingscode naast de benchmark, zodat teams een begrensde proef met bekende tests kunnen opbouwen. De gepubliceerde cijfers laten hogere testpasspercentages zien bij meer agenten, maar kosten per geslaagde wijziging ontbreken. Voor een Nederlands softwareteam wordt de bedrijfswaarde pas zichtbaar wanneer ook modelverbruik, infrastructuur en reviewtijd worden meegerekend.
Veelgestelde vragen
Van idee naar agentteam
Ik denk mee over welke taken je wilt verdelen, ontwerp hoe agenten samenwerken en bouw de oplossing van eerste proef tot livegang. Waar dat kan, houd ik de uitvoering self-hosted.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
