OpenAI trekt aanbeveling van codeerbenchmark SWE-Bench Pro in na eigen audit

OpenAI trekt zijn aanbeveling van SWE-Bench Pro in, een van de meest gebruikte tests voor AI-codeermodellen, nadat een eigen audit uitwees dat ongeveer 30 procent van de opgaven kapot is.

Voor bedrijven die hun keuze voor een codeermodel of coding-agent op openbare ranglijsten baseren, is dat een direct probleem. Een benchmarkscore bepaalt vaak welk model een team inkoopt of laat meeschrijven aan zijn software. Als bijna een derde van de meetpunten onbetrouwbaar is, meet de ranglijst niet wat je denkt: een model kan zijn afgerekend op opgaven die niemand goed kon oplossen, of juist geslaagd op taken die te makkelijk waren. De cijfers waarop je je modelkeuze baseert, staan dan op drijfzand.

Wat de audit vond

OpenAI liet zijn eigen analysepijplijn en vijf ervaren software-engineers los op de openbare set van 731 opgaven. De geautomatiseerde screening markeerde 200 taken (27,4 procent) als kapot, de menselijke beoordelaars kwamen op 249 (34,1 procent). Bij elkaar schat OpenAI dat ongeveer 30 procent van de opgaven onbruikbaar is.

De problemen vallen in vier soorten. Sommige tests zijn te streng en keuren werkende oplossingen af omdat ze een implementatiedetail eisen dat nergens in de opdracht staat. Andere opdrachten zijn te vaag en verwachten eisen die alleen in verborgen tests staan. Weer andere tests controleren te weinig, zodat een halve oplossing toch slaagt. En soms wijst de opdracht het model simpelweg de verkeerde kant op. In een van de voorbeelden verschilde de opdracht een enkele spatie van de verborgen test: wie de instructie letterlijk volgde, zakte.

Twee keer op rij een codeertest afgekeurd

Het is de tweede keer in korte tijd dat OpenAI een veelgebruikte codeertest afserveert. Eerder concludeerde het bedrijf dat de voorganger, SWE-bench Verified, fundamentele ontwerp- en besmettingsproblemen had en geen betekenisvol signaal meer gaf; toen raadde het de sector juist aan om over te stappen op SWE-Bench Pro. Die aanbeveling trekt OpenAI nu zelf terug.

Opvallend is dat het bedrijf geen nieuwe favoriet aanwijst. In plaats daarvan roept het de bredere gemeenschap op om nieuwe benchmarks te bouwen die door ervaren ontwikkelaars zijn opgezet, moeilijk te bespelen zijn en het echte kunnen van een model meten. OpenAI staat daarin niet alleen: analysebureau Artificial Analysis haalde SWE-Bench Pro medio juni al uit zijn ranglijst en verving het door DeepSWE, omdat modellen oplossingen konden overnemen uit de commitgeschiedenis waaruit de opgaven waren samengesteld.

Waarom deze tests zo breekbaar zijn

Het patroon achter beide missers is hetzelfde: de opgaven komen uit de geschiedenis van echte softwareprojecten, uit issues en pull requests die ooit voor mensen zijn geschreven, niet om een model eerlijk te toetsen. De tests die bij zo'n wijziging horen, zijn vaak geschreven om precies die ene aanpassing te controleren, niet om een taak los van de implementatie af te bakenen. Daardoor lekt er ruis in de score.

Het bevestigt een terugkerend probleem met leaderboards: een getal dat objectief oogt, kan om allerlei redenen misleiden. Het Britse AI-veiligheidsinstituut liet eerder zien dat lage benchmarkscores van AI-agents vaak aan een te krap tokenbudget liggen, niet aan een zwakker model. Dezelfde ranglijst kan een model dus onterecht af- of juist opwaarderen.

Voor wie een model of coding-agent kiest, betekent dit niet dat benchmarks waardeloos zijn, maar dat een publieke ranglijst hooguit een vertrekpunt is. De harde toets is een proef op je eigen werk. Databricks liet dat deze week zien door het open model GLM 5.2 op zijn eigen codebase van miljoenen regels te testen in plaats van op een publiek leaderboard, en pas op basis daarvan zijn standaardmodel te kiezen. Dat OpenAI zijn eigen aanraders nu binnen enkele maanden weer intrekt, onderstreept dezelfde les: de enige meting die telt voor jouw beslissing, is er een op jouw code en jouw taken.