OpenAI haalt 97,9% in eigen COBOL-migratietest

OpenAI meldt op 19 oktober dat GPT-6.1 Sol 86,6% haalt in een eigen COBOL-migratietest bij lage redeneerinspanning, tegenover 5,4% voor GPT-5.6 Sol. Met een hogere redeneerinspanning loopt de score op tot 97,9%.

Voor organisaties met COBOL-systemen kunnen de modelkosten van een eerste omzettingsronde dalen: OpenAI zegt dat de lage teststand 39% minder API-kosten vraagt dan het vorige model. De projectkosten blijven afhangen van het controleren van transacties, koppelingen en bedrijfsregels voordat productie verandert.

Twee scores meten twee verschillende taken

De 97,9% komt uit de migratie-evaluatie. Het model herschrijft bestaande COBOL-programma’s naar C++, Java, Kotlin, Python of Rust, terwijl het zichtbare gedrag gelijk moet blijven. Een aparte evaluatie, MultiLangBench, laat modellen juist vanuit het niets een SQLite-compatibele database bouwen in twintig programmeertalen.

Op die bouwtaak haalt GPT-6 Astra bij maximale redeneerinspanning gemiddeld 87,4% van de tests, tegenover 26,8% voor GPT-5.6 Sol. De scores voor de SQLite-taak lopen uiteen per taal: COBOL gaat van 10,9% naar 72,1%, Fortran van 21,4% naar 83,5% en Visual Basic van 27,5% naar 89,4%. Dat zijn dus geen extra cijfers voor het vertalen van bestaande COBOL-programma’s.

OpenAI noemt ook een goedkoper model voor deze SQLite-evaluatie. Bij maximale redeneerinspanning haalt GPT-6 Luna gemiddeld 40,3%. De geschatte API-kosten bedragen 0,77 dollar per voorbeeld, tegenover 3,48 dollar voor GPT-5.6 Sol. Dat is ongeveer 78% minder, maar het bedrag hoort bij de bouwtest en zegt niets over de kosten van een COBOL-migratieproject.

De opzet van MultiLangBench staat openbaar op GitHub, met een SQLite-testreeks waarvan 24.000 van 51.000 tests zijn omgezet. De README zegt dat een standaardrun de goedkopere deelverzameling van 272 tests gebruikt; voor een grotere run moet de onderzoeker dat vermelden. OpenAI’s aankondiging zegt niet welke omvang de gepubliceerde gemiddelde score gebruikt.

Een cent verschil kan de test breken

Voor de migratietest gebruikt OpenAI verborgen tests die uitvoer per byte vergelijken. Een migratie telt alleen als geslaagd wanneer alle tests slagen. Daarmee meet de evaluatie of het waarneembare resultaat gelijk blijft. Code die compileert maar andere uitvoer geeft, slaagt niet.

Dat verschil is relevant voor financiële verwerking. COBOL kan bij vaste-kommagetallen decimalen afkappen als afronding niet expliciet is gevraagd. Een nieuw programma dat wel afrondt, kan zonder foutmelding draaien en toch andere bedragen produceren. OpenAI noemt ook de afhandeling van ontbrekende records als bedrijfsregel die in oude code kan zitten.

IBM en Anthropic bouwen aan de uitvoering

De benchmark komt na een reeks stappen rond enterprise-modernisering. Op 13 augustus maakten IBM en OpenAI hun partnerschap bekend: IBM bouwt GPT-5.6, Codex en ChatGPT Work in zijn consultingplatform in en start een eigen praktijk met duizenden gecertificeerde consultants. De officiële aankondiging noemt applicatiemodernisering als een van de drie werksporen, naast procesverandering en cybersecurity.

IBM bouwde die lijn in juli uit met drie moderniseringspakketten voor mainframe, IBM i en Java in de Bob-codeeragent. Het mainframepakket richt zich op COBOL, PL/I, assembler en JCL. IBM’s beschrijving van de Bob-uitbreiding noemt een analyse van broncode en afhankelijkheden, zodat de agent vragen kan beantwoorden op basis van gevonden metadata.

Anthropic kondigde in maart een startpakket aan waarmee partners oudere codebestanden kunnen migreren. Het bedrijf koppelde dat aan een partnernetwerk voor zakelijke implementaties. In de aankondiging introduceert Anthropic een migratiehulpmiddel voor partners; zij vermeldt geen openbare score van een modeltest. OpenAI publiceert modelcijfers. IBM en Anthropic beschrijven hoe partners bedrijven helpen oude toepassingen te moderniseren.

De test stopt vóór het bedrijfssysteem

De 97,9% blijft een resultaat uit OpenAI’s eigen evaluatie. De aankondiging noemt geen omvang van de migratietest, geen COBOL-dialecten en geen klantproject. Verborgen tests geven een meetbare grens aan gedrag. Dat betekent dat de score zelf niets zegt over een volledig systeem met databestanden, batchverwerking, beveiliging en koppelingen.

IBM’s eigen uitleg van COBOL-modernisering beschrijft precies die bredere systeemgrens: integraties, gegevensarchitectuur, runtime, transactieverwerking en beveiliging horen ook bij het werk. IBM noemt codevertaling daarom één onderdeel van modernisering. OpenAI schrijft zelf dat productiecode deskundige controle en tests tegen bedrijfsregels en afhankelijkheden nodig heeft.

Een vergelijking van oud en nieuw maakt voor een Nederlandse organisatie zichtbaar of dezelfde invoer ook dezelfde bedragen, ontbrekende records en koppelingen oplevert. De lage teststand kost 39% minder op de API, maar OpenAI noemt geen prijs voor de hoge stand die 97,9% haalt. De benchmark laat zien dat het model deze evaluatie veel vaker doorstaat; hoeveel van een specifieke administratie veilig kan veranderen, blijft per systeem te meten.