IBM en Kaggle publiceren AI-ranglijst voor Java-migraties

ScarfBench vergelijkt op 27 oktober op Kaggle tien combinaties van AI-model en codeeragent voor 204 Java-frameworkmigraties, meldt IBM Research.

Wie een bestaand Java-systeem van Jakarta EE, Quarkus of Spring wil verplaatsen, kan agenten nu vóór een project vergelijken op herhaalbare tests. De lijst maakt de inzet concreet: gaat het om code die bouwt, of om een applicatie die na de migratie nog doet wat de bedrijfsprocessen nodig hebben?

De ranglijst heeft twee koplopers

Elke meting koppelt een taalmodel aan een agentharnas: de softwareomgeving die bepaalt hoe de agent met projectbestanden, hulpmiddelen en tests werkt. De score hoort bij die combinatie. De eerste plek hangt af van de meetlat. Gemini 4 Argon met Antigravity haalt de hoogste smoke-testscore: 75,2 procent. Claude Opus 5.5 met Claude Code volgt met 70,5 procent.

Bij de strengere maatstaf waarbij alle tests moeten slagen, staat Claude Opus 5.5 met Claude Code bovenaan met 72,1 procent, net voor Argon met Antigravity op 71,1 procent. De smoke-testscore geeft gedeeltelijke punten en weegt grotere testsuites zwaarder. Een combinatie kan daardoor veel gedragstestpunten halen zonder elk migratiegeval volledig af te ronden.

De cijfers beantwoorden twee vragen: welk deel van de gedragstests doorstaat een combinatie, en hoe vaak slaagt een volledige migratie voor alle tests? Bij die laatste maatstaf komt geen combinatie boven ongeveer driekwart van de migraties uit.

De tests volgen gedrag na compilatie

ScarfBench vergelijkt migraties tussen Jakarta EE, Quarkus en Spring. De suite combineert kleine voorbeelden rond afzonderlijke onderdelen met volledige applicaties waarin meerdere lagen samenwerken. De officiële benchmarkdocumentatie telt 102 applicaties, zes lagen, drie frameworks en 1.331 tests. De nieuwe Kaggle-ranglijst rapporteert scores over 204 migratietaken; de 1.331 is het aantal afzonderlijke tests in de benchmarkset.

Gedragstests zijn relevant omdat code die compileert nog niet hoeft te werken. Van de 745 geclassificeerde mislukte uitvoeringen waren er 535, ongeveer 72 procent, gedragsfouten tijdens het draaien. De applicatie startte vaak wel, maar gedragstests faalden. Daaronder vallen 304 afwijkingen in inhoud of testuitkomsten en 210 verdwenen routes of 404-antwoorden. Nog eens 21 gevallen eindigden in HTTP 500- of 405-fouten. Compileer- en pakketproblemen vormden ongeveer 20 procent van de missers; nog eens 8 procent waren opstartproblemen of fouten bij dependency injection, het automatisch koppelen van onderdelen.

Voor teams met een bedrijfsapplicatie betekent dat verschil veel. Een migratie kan zonder compileerfout door de bouwstraat komen en toch schermen, routes of bedrijfsregels verliezen. ScarfBench gebruikt gedragstests om te controleren of de applicatie na compilatie blijft werken.

IBM bouwt voort op Java-modernisering

IBM introduceerde ScarfBench op 11 maart als een openbare benchmark voor migraties tussen Java-frameworks. In juli breidde IBM Bob uit met subagents, parallelle uitvoering en pakketten voor Java-modernisering. IBM stelt dat Bob Java 8 of 11 naar Java 17, 21 of 25 kan upgraden.

Ook Microsoft publiceerde een benchmark voor codeeragenten. Microsoft Research rapporteert 55,06 procent van de tests bij het nabouwen van Pandoc met 1.024 agenten binnen zes uur. Het gemiddelde over vijf ProgramBench-taken loopt van 19,31 procent met één agent naar 28,78 procent met 128 agenten. De cijfers vergelijken twee verschillende taken: Agensh bouwt software na vanaf observaties, terwijl ScarfBench een bestaande Java-applicatie naar een ander framework verplaatst.

De ranglijst is openbaar, inzenden nog niet

IBM zegt dat Kaggle meewerkte aan het evaluatieontwerp, de tests onafhankelijk op zijn eigen platform opnieuw uitvoerde en de rekenkracht sponsorde. Kaggle gaat de benchmark bijhouden en nieuwe model-agentcombinaties toevoegen. Bij de start kunnen andere teams nog geen eigen configuratie indienen; die mogelijkheid staat op de routekaart. Teams kunnen de gepubliceerde combinaties al naast elkaar zetten; openbare inzendingen ontbreken nog.

De kosten lopen in dezelfde proef uiteen, maar zijn niet voor elk harnas beschikbaar. Voor de 200 taken die overblijven na een gevoeligheidscontrole noemt IBM 1,25 dollar per opgeloste taak voor GPT-6.1 Sol met Codex en 10,10 dollar voor Claude Opus 5.5 met Claude Code. Antigravity, qwen-code en OpenHands rapporteerden geen kosten per uitvoering. Het zijn kosten binnen de benchmarkopzet, geen begroting voor een volledige migratie met analyse, controle en uitrol.

ScarfBench toont waar een agent resultaat laat liggen: bij compilatie, opstart of applicatiegedrag. Voor organisaties met een eigen Java-landschap is de ranglijst een herhaalbaar referentiepunt, waarna tests op de eigen applicaties nodig blijven. Kaggle heeft aangekondigd nieuwe model-agentcombinaties toe te voegen, waardoor de rangorde kan verschuiven.