Qwen3.8-27B evenaart GPT-5.6 Luna in onafhankelijke meting

Qwen3.8-27B haalt 52 punten op de Intelligence Index van benchmarkbureau Artificial Analysis, precies de score van OpenAI's GPT-5.6 Luna op maximale redeneerstand, maar dan uit een bestand dat op een enkele videokaart past.

Dat is een ander soort cijfer dan de tabel die Alibaba zelf bij de release meestuurde. Voor een Nederlands team dat overweegt een model binnen de eigen muren te zetten, verschuift de vraag daarmee. Niet langer of een klein open model het aankan, maar of de doorvoer van je eigen kaart zich laat verdedigen tegen een maandelijkse API-factuur. Op die tweede vraag geeft dezelfde meting een minder vrolijk antwoord.

Wat de meting zegt, en wat er niet in staat

De Intelligence Index van Artificial Analysis is een samengestelde score uit negen evaluaties, waaronder Terminal-Bench v2.1, SciCode, GPQA Diamond, Humanity's Last Exam en de lange-contexttest AA-LCR. Qwen3.8-27B komt daar op 52 uit en staat daarmee bovenaan in zijn eigen gewichtsklasse van 135 open modellen tussen 4 en 40 miljard parameters. GPT-5.6 Luna op maximale redeneerstand haalt hetzelfde getal.

De opvallendste uitslag zit op de Agentic Index, de deelscore die alleen naar agenttaken kijkt en is opgebouwd uit twee tests: GDPval-AA v2 voor echte werktaken en het bankscenario tau3-Banking. Daar noteert het model een 51 en gaat het volgens VentureBeat voorbij Claude Opus 4.8 op maximale redeneerinspanning, een model dat nog geen drie maanden oud is. Ook GPT-5.6 Terra blijft er net onder, met 50,877 tegen 50,201 punten.

Dat verschil is nog geen zevenhonderdste van een punt, gemeten door één partij, op twee tests. En dezelfde GPT-5.6 Terra staat op de bredere Intelligence Index op 57, vijf punten boven Qwen. "Beter dan Terra" geldt dus voor agenttaken bij deze meetpartij, niet voor het model als geheel. Wie op basis van dit ene cijfer een architectuurbesluit neemt, leunt zwaarder op de benchmark dan de benchmark aankan.

De prijs van die score is rekentijd

Het model betaalt zijn score met tokens. Artificial Analysis registreerde 160 miljoen uitvoertokens over de hele testreeks, tegen een mediaan van 43 miljoen voor vergelijkbare open modellen. Bijna vier keer zoveel denkwerk voor hetzelfde eindcijfer.

Ontwikkelaar Simon Willison zag dezelfde neiging op zijn eigen machines. Hij draaide de 4 bit-versie van 17 GB op een MacBook Pro met M5 Max en op een Nvidia DGX Spark, en haalde daar 15 tot 30 tokens per seconde uit LM Studio. Het model staat standaard op zijn hoogste redeneerstand, en dat is te merken: één tekenopdracht kostte 21 minuten en 22.276 redeneertokens, terwijl dezelfde opdracht met het redeneren uitgezet in 137 seconden klaar was. Zijn advies is om die standaard te negeren en op laag of helemaal zonder redeneren te beginnen. Met Multi-Token Prediction via llama.cpp haalde hij er nog eens 72 procent snelheid bij.

Reken het door voor je eigen kaart

Vijftien tot dertig tokens per seconde is 1,3 tot 2,6 miljoen uitvoertokens per etmaal, en dan draait de kaart dag en nacht door. Aan de andere kant staat een API-tarief: voor GPT-5.6 Luna rekent OpenAI 0,20 dollar per miljoen invoertokens en 1,20 dollar per miljoen uitvoertokens, met 90 procent korting op gecachte invoer. Diezelfde 2,6 miljoen uitvoertokens kosten daar ruim drie dollar per dag, ongeveer 95 dollar per maand.

Tegenover een werkstation van rond de 3.000 dollar duurt het dan ruim twee en een half jaar voor het ijzer zichzelf terugbetaalt, met stroom, beheer en leegloop nog buiten de som. Dat sluit aan op wat hier eerder uit een TCO-analyse kwam: het omslagpunt tegenover een goedkope open-weight API ligt pas rond 15 tot 20 miljoen tokens per dag, een volume dat één kaart niet eens voor een tiende haalt.

Investeerder en ontwikkelaar Tomasz Tunguz vond in een kleine test van negen taken tegen DeepSeek V4 Flash dat Qwen met redeneren aan iets beter werk afleverde, maar ongeveer dertig keer trager was en 4,5 keer duurder uitviel. Hij tekende er zelf bij aan dat negen taken geen oordeel dragen. De richting klopt wel met de tokentelling van Artificial Analysis.

Waar het toch omslaat

De rekensom gaat over geld, en geld is hier zelden het doorslaggevende argument. Wat je koopt met zelf draaien is dat er geen enkel token je netwerk verlaat, en dat niemand het model morgen kan intrekken of duurder maken. Die vrijheid is bij dit formaat ook juridisch schoon: de 27B verscheen op 14 augustus onder een onveranderde Apache 2.0-licentie, zonder omzetdrempel en zonder regio-uitsluiting, anders dan het vlaggenschip van dezelfde generatie.

De belangstelling is navenant. De officiële repository op Hugging Face staat op ruim 415.000 downloads en 10.779 likes, en dat is exclusief de gecomprimeerde varianten die de gemeenschap eromheen publiceerde. Het past in een patroon waarin Qwen met 39,6 miljoen downloads per maand de modellen aanvoert die mensen daadwerkelijk op eigen hardware zetten, voor Gemma en Llama.

Wat deze meting verplaatst is niet de ranglijst maar de ondergrens. Het niveau waarop een model bruikbaar wordt voor codeer- en agentwerk past nu in een bestand van 17 GB, en dat was een jaar geleden nog ondenkbaar. De rem zit alleen niet meer in wat het model kan, maar in hoeveel tokens het nodig heeft om daar te komen. Zolang die verhouding zo scheef staat, blijft zelf draaien een besluit over waar je data staat en wie er aan de knoppen zit. Niet over wat je aan het eind van de maand betaalt.