Bijgetraind open model klopt GPT en Claude op financiele taken, tegen een fractie van de kosten

Een handvol alledaagse taken van beleggers, en de duurste AI-modellen ter wereld haalden er nauwelijks een voldoende. Dat is de kern van nieuw onderzoek van Thinking Machines Lab, het lab van ex-OpenAI-topvrouw Mira Murati, samen met de onderzoeksafdeling van hedgefonds Bridgewater. Toen ze GPT, Claude en Gemini zonder speciale instructies loslieten op zes financiele beoordelingstaken, bleef de gemiddelde nauwkeurigheid steken rond 47 procent, niet veel beter dan een muntworp. Een veel kleiner, open model dat ze zelf bijtrainden versloeg vervolgens elk vlaggenschipmodel, tegen ongeveer een veertiende van de kosten.

Het interessante zit niet in de score alleen, maar in wat het onthult over hoe je een AI-model kiest voor werk dat er echt toe doet. De juiste antwoorden op deze taken stonden namelijk nergens op het openbare internet. Ze zaten in het hoofd van ervaren beleggers. En precies daar lopen de algemene topmodellen vast.

Wat er precies getest is

De onderzoekers bouwden zes taken na uit de dagelijkse routine van een beleggingsteam. Een paar voorbeelden: bepalen of een nieuwsartikel relevant is voor de directie, herkennen of een document van een centrale bank hint op een komende renteverandering, en vaststellen waar in een lang document of een e-mail de standaardtekst begint. Geen trivia, maar de saaie, oordeelsgevoelige filterstappen waar een analist elke dag doorheen moet.

Tegen die taken zetten ze de zwaarste modellen van dit moment: Gemini 3.1 Pro, Claude Opus 4.6 en 4.8, en GPT 5.2, 5.4 en 5.5. Met een kale prompt kwam dat gezelschap gemiddeld niet verder dan 47,2 procent. Met zorgvuldig door experts geschreven prompts steeg het gemiddelde naar 78,2 procent, meteen ook de score van het beste model, Claude Opus 4.8. Daar liep het vast: meer prompt-engineering leverde nauwelijks nog winst op.

Bijtrainen versloeg prompt-engineering

In plaats van door te blijven sleutelen aan prompts, trainden de onderzoekers een open model bij: Qwen3-235B, met openbare gewichten, op hun eigen Tinker-platform. Dat model kwam uit op 84,7 procent gemiddeld, oftewel bijna 30 procent minder fouten dan het beste gesloten topmodel. En dat tegen een inferentiekostprijs die ongeveer 13,8 keer lager lag per taak.

De kostenkant is minstens zo leerzaam als de nauwkeurigheid. Meer betalen bracht namelijk lang niet altijd meer kwaliteit: GPT 5.4 was in deze test zo'n 43 procent duurder dan GPT 5.2, met maar een marginaal betere score. Simpelweg naar het nieuwste, duurste model grijpen loont dus niet vanzelf.

Waarom de dure modellen bleven steken

De verklaring die de onderzoekers geven, raakt de kern van waar generieke AI tegenaan loopt. Een prompt kan alleen de intuitie overbrengen die een expert in woorden weet te vatten, terwijl juist de oordelen die het meest tellen vaak het moeilijkst te verwoorden zijn. Een topmodel dat op het openbare internet is getraind heeft die stille, ervaringsgebonden kennis simpelweg nooit gezien, en je krijgt haar er met tekstinstructies ook niet volledig in.

Slim was ook hoe ze aan trainingsdata kwamen zonder een fortuin aan dure experts uit te geven. Eerst lieten ze niet-gespecialiseerde krachten documenten labelen. Daarna zette een eerste model de eigen voorspellingen naast die labels en markeerde alleen de gevallen waar het van mening verschilde. Uitsluitend die betwiste gevallen gingen naar ervaren beleggers, die bepaalden of het om een echt lastig geval ging of om een verkeerd label. Zo blijft de duurste schakel, de expert, alleen ingezet waar het er toe doet.

Belangrijke kanttekening

Dit is onderzoek van Bridgewater en Thinking Machines Lab zelf, niet onafhankelijk gevalideerd, en de taken zijn specifiek voor hun eigen beleggingswerk. De cijfers zijn dus een sterk signaal, geen algemene wet. En het recept vraagt iets wat niet elk bedrijf in huis heeft: goede gelabelde voorbeelden en de capaciteit om een open model bij te trainen. Wie dat mist, blijft voorlopig aangewezen op slimme prompts en kant-en-klare modellen.

Tegelijk is de richting onmiskenbaar. Het is niet het eerste signaal die kant op: een open model als GLM-5.2, dat GPT-5.5 op programmeerwerk klopt tegen een zesde van de prijs, laat op een heel ander terrein hetzelfde patroon zien. Een goed gekozen, gericht ingezet open model verslaat een duur generalistmodel op een afgebakende taak.

Wat dit betekent voor jouw bedrijf

De les is niet dat topmodellen slecht zijn, maar dat het beste model afhangt van de taak. Voor open, algemene vragen blijft een vlaggenschip sterk. Maar voor een afgebakende, oordeelsgevoelige taak die leunt op jouw eigen kennis, denk aan het beoordelen van offertes, het filteren van dossiers of het herkennen van wat in een contract afwijkt, kan een kleiner, bijgetraind of self-hosted model nauwkeuriger en veel goedkoper zijn. Bovendien houd je gevoelige data dan in eigen hand in plaats van bij een externe leverancier.

De praktische route ernaartoe is niet gokken op het duurste model, maar modellen vergelijken op kosten per taak in plaats van per token, met een eigen mini-benchmark op je echte werk. Wie dat doet ontdekt vaak hetzelfde als Bridgewater: het model dat op papier het sterkst lijkt, is niet automatisch het model dat jouw specifieke werk het best en het goedkoopst doet.