Alisina NawabiGPT-6 Astra past volgens MIT CSAIL-onderzoekers zonder gradiënttraining direct de gewichten van Qwen3.5-0.8B aan; in de sterkste proef stijgt de MATH-500-score van 7,9 naar 48,1 procent.
Een organisatie die een klein open-weightmodel zelf draait, krijgt hiermee een mogelijke onderhoudsroute: een AI-systeem onderzoekt een foutpatroon in de gewichten en stelt een gerichte patch voor zonder het model opnieuw te trainen. De onderzoekers schrijven de winst vooral toe aan het verminderen van repetitielussen. De MATH-winst komt uit één model en één bekende fout; de auteurs rapporteren geen productie-inzet.
De score stijgt terwijl de lus afneemt
Takehi, Teoh, Zhang en Khattab van MIT CSAIL plaatsten de onderzoeksresultaten op 2 november op Takehi’s blog. Zij noemen de aanpak Weight-Space Programming: Astra gebruikte een Python-omgeving om gewichten van het tekstdeel van Qwen3.5-0.8B te lezen en aan te passen. Gradiënttraining en verdere training waren uitgesloten.
De openbare resultatenlog toont de scores van het origineel en de sterkste bewerkingsrun:
| Maatstaf | Origineel Qwen3.5-0.8B | Aangepast na 50 analysepassen |
|---|---|---|
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval, instructies volgen | 21,0% | 62,3% |
| MATH-500-antwoorden afgebroken op tokenlimiet | 93,0% | 33,1% |
De onderliggende experimentlogs tonen dat de patch 131.072 gewichten raakte, ongeveer 0,016 procent van het model. Bij de basisversie werd 93 procent van de MATH-500-antwoorden afgebroken op de limiet van 32.768 tokens. Na de wijziging gebeurde dat bij 33,1 procent. Meer antwoorden konden dus worden afgemaakt; de score bewijst niet dat Qwen zes keer zoveel wiskundige kennis heeft.
Met budgetten van 10 en 25 analysepassen kwam MATH-500 uit op respectievelijk 12,3 en 14,1 procent. De sprong naar 48,1 procent verscheen alleen in de run met 50 passen. De drie uitkomsten tonen geen stabiel rendement per extra analysepass.
De repetitielus was al bekend
De officiële Qwen-modelkaart vermeldt een Apache 2.0-licentie en waarschuwt voor repetitielussen in de denkstand. Zulke lussen kunnen voorkomen dat antwoorden netjes eindigen. De kaart noemt ook het aanpassen van generatie-instellingen en streaming als manieren om afwijkende uitvoer tijdig te zien of te stoppen. De MIT-resultaten vergelijken de gewichtseditslag niet met die maatregelen. Daardoor blijft onduidelijk wanneer een patch meer oplevert dan een andere manier om het model te laten antwoorden.
De scores zijn gemiddelden uit één testopstelling. Voor MATH-500 beoordeelden de onderzoekers vier antwoorden per opgave; voor GSM8K en IFEval waren dat er twee. Het origineel en de aangepaste gewichten kregen dezelfde generatie-instellingen en dezelfde tokenlimiet. Dat maakt de vergelijking binnen deze proef bruikbaar, maar is geen onafhankelijke herhaling van het resultaat.
Astra werkte met een begrensde gereedschapsset
De experimentbeschrijving vermeldt een maximum van 50 modelpasses en 300 uitvoeringen van Python-code. In de sterkste poging voerde Astra code 80 keer uit, verdeeld over 158 beurten en vier gesprekken. De run duurde 20,3 uur, waarvan 4,7 uur wachttijd door een storing bij de modeldienst.
Astra gebruikte een Python-omgeving op een processor, zonder internet. Het mocht gewichten uitlezen en wijzigingen opslaan, maar niet trainen of het model zelf in die omgeving draaien. Het kreeg oefenmateriaal, maar zag de benchmarks pas nadat de onderzoekers de edit hadden vastgezet. Dit was een uitgebreide analyse met code en modelaanroepen, geen losse prompt die een model van een organisatie direct herstelt.
Rechtstreeks gewichten aanpassen heeft eerdere onderzoeksvoorbeelden. ROME richtte zich op het veranderen van één opgeslagen feit; de opvolger MEMIT schaalde dat op naar duizenden feitelijke herinneringen tegelijk. De MIT-auteurs richten zich op een ander doel: een algemeen taalmodel onderzoekt zelf de gewichten en probeert een breder gedragspatroon te corrigeren. Hun blog beschrijft ook herkenning van vier kleine game-netwerken en een besturingsnetwerk dat na een edit van 3,5 procent van de gewichten van nul naar 100 procent succes ging. Dat zijn gecontroleerde proeven, geen bedrijfsinzet.
De openbare logs begrenzen de belofte
De open-weightmodellen DeepSeek V4.1 Flash 1017 en GLM-5.3 staan in Artificial Analysis v5 ieder op 32 punten, tegenover 58 voor Claude Opus 5.5. Die brede ranglijst meet iets anders dan MATH-500. Een gerichte reparatie kan voor open modellen wel een nieuwe onderhoudsroute worden. De vraag waar een model draait blijft daarbij praktisch: Mistral Large 4 heeft een repository van 1,06 terabyte en een vLLM-voorbeeld met acht GPU’s. Ook bij een klein model vraagt een aangepaste versie om eigen evaluatie.
De auteurs presenteren dit als vroeg werk. Hun pagina vermeldt nog geen gepubliceerde paper en noemt geen DOI. De repository bevat scores en een exacte gewichtsedit, maar niet de volledige code van de onderzoeksomgeving of alle werkbestanden. Een aanvullende Gemma 3 270M-proef, zonder vergelijkbare ernstige repetitielus, scoorde in een afzonderlijke, vormonafhankelijke beoordeling 6,8 procent op MATH-500 zonder edit en maximaal 7,7 procent na 25 analysepassen. Bij 50 passen was de score 7,0 procent. De Gemma-log rapporteert geen vastgestelde verbetering.
Voor Nederlandse organisaties met eigen modelgewichten verschuift de vraag van modelkeuze naar modelonderhoud: kan een fout lokaal worden onderzocht en met een beperkte patch worden hersteld? Deze proef laat zien dat dit bij een bekende repetitielus kan lukken. Ze toont nog niet dat de aanpak nieuwe vaardigheden toevoegt of werkt op andere modellen. De volgende stap is een onafhankelijke herhaling die ook meet of de patch andere taken ongemoeid laat.
Veelgestelde vragen
Van AI-proef naar product
Ik denk mee over de plek van AI in je proces, ontwerp de oplossing en bouw en automatiseer het hele traject tot een werkend systeem. Waar het kan, laat ik modellen en data in je eigen omgeving draaien.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
