Databricks kiest open model GLM 5.2 als standaard codeermodel na test tegen Opus

Databricks gaat het Chinese open-weight model GLM 5.2 als standaard codeermodel voor zijn eigen ontwikkelaars inzetten, nadat het op zijn codebase van miljoenen regels Opus 4.8 evenaarde voor 1,28 dollar per taak tegen 1,94 dollar, meldt het bedrijf.

Voor een ondernemer die zelf moet kiezen welk model zijn code schrijft, is dit een zeldzaam hard datapunt. Geen publiek leaderboard, maar een test op een echte productiecodebase, waarin een open model met vrij beschikbare gewichten hetzelfde werk aflevert als het duurste gesloten model, voor ongeveer een derde minder per taak. Dat verschuift de rekensom voor je maandelijkse codeerbudget, en het maakt de keuze meetbaar in plaats van een kwestie van merk.

Gelijke slaagkans, een derde goedkoper

In de test haalden GLM 5.2 en Opus 4.8 een statistisch gelijk slaagpercentage, ergens tussen 82 en 90 procent van de taken. Het verschil zit in de prijs: GLM kostte 1,28 dollar per opgeloste taak, Opus 1,94 dollar. Claude Sonnet 5 kwam uit op 2,09 dollar per taak en bleef in slaagkans achter bij beide. Databricks schrijft dat het tijd is om GLM 5.2 als dagelijks werkmodel voor zijn ontwikkelaars te gaan inzetten, niet alleen om het te testen.

Waarom de test wel iets zegt

De cijfers zijn bruikbaar omdat de benchmark niet uit een standaardset komt. Databricks bouwde hem uit echte, samengevoegde pull requests van zijn eigen engineers, verspreid over meer dan tien talen als Python, Go, TypeScript, Scala, Rust en Java. Elke taak werd met de hand herschreven tot een opdracht zonder hints naar de oplossing.

Het bedrijf gebruikte bewust geen AI-model als jury om de antwoorden te beoordelen. Zo'n opzet beloont volgens Databricks 'goed klinken boven gelijk hebben'; in plaats daarvan draaide elke oplossing tegen de echte testsuites van de codebase. Publieke sets als SWE-Bench liet het links liggen, omdat oplossingen daaruit na verloop van tijd in trainingsdata lekken en de taken niet passen bij een stack van meer dan tien talen.

Geen los incident

Dat een open model uit China de dure gesloten concurrentie evenaart, staat niet op zichzelf. GLM 5.2, gemaakt door het Chinese Zhipu AI, versloeg vorige maand op publieke coding-benchmarks al GPT-5.5 voor een zesde van de prijs. De Databricks-test voegt daar het bewijs aan toe dat telt: geen ranglijst, maar productiewerk.

De grotere les zit in de methode, niet in het model. Wie modellen vergelijkt op een eigen mini-benchmark en op kosten per opgeloste taak in plaats van per token, meet wat er voor het eigen werk daadwerkelijk toe doet.

Publieke ranglijsten zeggen steeds minder over wat een model op jouw codebase doet. De slaagpercentages liggen dicht bij elkaar, en het echte onderscheid verschuift naar prijs per taak en naar de vraag of de gewichten open genoeg zijn om zelf te draaien. Modelkeuze wordt zo een beslissing die je narekent op je eigen werk, niet een gok op de bekendste naam.