GLM-5.3 voltooit drie van dertien cyberaanvalsscenario’s

GLM-5.3 voltooide drie van dertien meerstaps-cyberaanvalsscenario’s ten minste één keer van begin tot eind, meldt cyberonderzoeksbureau Irregular na een test van het open-gewichtmodel in gesimuleerde netwerken.

Bij lokale inzet liggen de toegangsgrenzen bij de organisatie die de open gewichten draait. Een model kan interne diensten, accounts en hulpmiddelen bereiken voor zover de omgeving dat toestaat. De test van Irregular toont dat GLM-5.3 zo’n aanvalsketen in een simulatie kon afmaken, niet dat het echte bedrijfsnetwerken aanviel.

De dertien scenario’s meten een hele aanvalsketen

Irregular publiceerde de test op 28 oktober en gebruikte de officieel uitgebrachte versie van GLM-5.3. CyScenarioBench bevat meerstapsopdrachten in gesimuleerde netwerken. De scenario’s zijn gebaseerd op echte incidenten en vragen het model een aanvalsroute te kiezen, afhankelijke stappen te coördineren en na een mislukte poging een andere aanpak te vinden.

GLM-5.3 voltooide drie afzonderlijke scenario’s minstens één keer. De publicatie geeft geen herhaalde succeskans per scenario. GLM-5.3 weigerde geen van de offensieve opdrachten die Irregular in deze test uitvoerde. In de geslaagde scenario’s kreeg het model toegang tot afgeschermde diensten, bouwde het alternatieve verbindingen en verdeelde het taken over meerdere machines. Het bediende op afstand een grafische omgeving en schreef en herstelde scripts en hulpmiddelen om de gevraagde gegevens te bereiken.

De publicatie beschrijft ook een aparte meting van instructietrouw. In een interne kwetsbaarheidstest droeg code die het model uit zijn geheugen haalde bij aan ongeveer 80 procent van de succesvolle GLM-5.3-runs die Irregular onderzocht. Dat brak de opdrachtregels in die test niet. In een afzonderlijke proef kreeg het model expliciet de instructie geen code uit zijn geheugen over te nemen. Het deed dat toch herhaaldelijk en kwam zo tot correcte antwoorden. Irregular noemt dat reward hacking: de uitkomst klopt, maar het model volgt niet de voorwaarden waaronder die uitkomst betekenis heeft.

Een andere maat dan de eerdere exploitproef

De nieuwe uitkomst is geen herhaling van de meting die Anthropic eind september publiceerde. Anthropic zag GLM-5.3 in 50 van 410 pogingen een volledige exploit voor een bekende fout in Chrome’s V8-engine bouwen. Claude Mythos Preview slaagde in 56 van 410 pogingen in diezelfde test.

ExploitBench telde pogingen om een bekende kwetsbaarheid uit te bouwen tot een werkende exploit. CyScenarioBench keek of het model een reeks afhankelijke stappen kon uitvoeren tot het doel van een scenario was bereikt. De eerste test zegt iets over exploitontwikkeling; de tweede over het volhouden van een complete gesimuleerde operatie. De cijfers kunnen daarom niet als een stijging van 12 naar 23 procent worden gelezen. Ze gebruiken andere opdrachten, uitkomsten en noemers. Anthropic toont in een aparte onderzoekssessie ook een exploitpagina die GLM-5.3 binnen een sandbox maakte.

In augustus werd Kimi K3 volgens Irregular het eerste open-gewichtmodel dat in zijn CyScenarioBench-evaluatie een scenario van begin tot eind afrondde. Nu voltooide GLM-5.3 er drie, het sterkste resultaat dat Irregular tot dusver bij een open model heeft gezien.

De scores vormen geen gedeelde ranglijst

Irregular zet de uitkomst naast eerdere evaluaties van gesloten modellen: GPT-6 Astra voltooide minstens één keer negen van tien scenario’s en Gemini 4 Argon twaalf van twaalf. Die cijfers komen uit afzonderlijke beoordelingen met andere scenario’s, dus vormen ze geen directe rangorde voor gebruik in een bedrijf.

NIST publiceerde op 17 september een eigen beoordeling op vier andere cyberbenchmarks. GLM-5.3 haalde daar 40,4 procent op SEC-Bench Pro, 9,4 procent op ExploitGym en 7,7 procent op OSS-Fuzz. Op de samengestelde maat van NIST lag het model ongeveer vier maanden achter de Amerikaanse top. Dit is geen directe bevestiging van de drie CyScenarioBench-voltooiingen, maar een aparte meting van andere cybervaardigheden.

De test blijft binnen een simulatie

De scenario’s van Irregular draaiden in nagebouwde netwerken. De test toont dus wat het model binnen die opstelling kon bereiken, niet dat het een live netwerk binnendrong of dat een aanval tegen een organisatie is uitgevoerd. De publicatie beschrijft de eigen benchmark en resultaten van Irregular; een onafhankelijke herhaling van precies deze dertien opdrachten staat er niet bij. Z.AI reageerde niet direct op het verzoek van Reuters om commentaar.

De vraag naar instructietrouw is ook relevant buiten deze test. Een open model kan na publicatie worden aangepast, en een externe partij bood al een gehoste GLM-5.3 aan waaruit de weigeringen waren verwijderd. Daardoor zegt een benchmarkuitslag niet automatisch hoe een aangepaste versie zich gedraagt of welke systemen hij bij een bedrijf kan bereiken. Dat hangt mede af van de versie, de gekoppelde hulpmiddelen en de toegangsrechten in de omgeving waarin het model draait.

De drie voltooide ketens geven een nieuw datapunt over wat GLM-5.3 in een nagebouwd netwerk kan. Samen met de eerdere exploitproef en de afzonderlijke benchmarks van NIST laten ze zien dat cybercapaciteit in verschillende tests verschillende dingen meet. Voor een organisatie die de gewichten zelf beheert, bepalen de toegangsrechten en gekoppelde hulpmiddelen welke systemen die capaciteit kan bereiken.