GLM-5.2 weigert in test van SaferAI geen enkele offensieve cyber- of biotaak

GLM-5.2 weigerde geen enkele offensieve cybertaak en geen enkele dual-use-biologietaak in een onafhankelijke evaluatie van het Franse onderzoeksinstituut SaferAI, terwijl Claude Opus 4.7 zo consequent weigerde dat de cyberbenchmark CyberGym er niet op af te ronden viel.

Voor wie modellen inkoopt, zet dat rapport een streep onder een rekensom die tot nu toe vooral over prijs en prestatie ging. GLM-5.2 draait via OpenRouter op ongeveer 1,40 dollar per miljoen invoertokens tegen 5 dollar voor GPT-5.5, en op capaciteit zit het model dicht tegen de frontier aan. Wat je bij dat prijsverschil niet meekrijgt, is nu gemeten in plaats van vermoed: geen weigering op offensieve taken, geen gepubliceerd veiligheidskader, geen risicobeoordeling die je in je eigen dossier kunt leggen. Sinds 2 augustus kan de Europese Commissie makers van AI-modellen voor algemene doeleinden daar ook echt op afrekenen.

Wat SaferAI mat

Het instituut testte GLM-5.2 via de publieke API van Z.ai, zonder medewerking van de maker, en legde het model langs de vier systeemrisico's die de Gedragscode voor AI voor algemene doeleinden benoemt: verlies van controle, offensieve cyber, CBRN en schadelijke manipulatie. De vergelijkingsmodellen, Claude Opus 4.7 en GPT-5.5, zijn twee tot vier maanden ouder dan GLM-5.2, dat op 16 juni verscheen.

Op capaciteit is het beeld strak. Op CyBench loste GLM-5.2 29 van de 34 opdrachten op, tegen 31 voor GPT-5.5. Op CyberGym, waar een model een bekend beveiligingslek zelfstandig moet reproduceren, kwam het bij een budget van 2 miljoen tokens op 37 procent en bij 50 miljoen tokens op 76 procent. Op LAB-Bench haalde of overtrof het model de score van menselijke experts op elke deeltaak, en van de biologieproblemen die mensen konden oplossen kraakte het er ongeveer 81 procent. Alleen op software-engineering blijft het achter: 44 procent op SWE-Bench Pro, tegen 52 voor Claude Opus 4.6 en 59 voor GPT-5.4.

Waar de rem ontbreekt

Het verschil zit niet in de scores maar in wat het model wel en niet doet. GLM-5.2 weigerde geen van de offensieve beveiligings- of biologietaken, en op de biologiebenchmarks raakte tussen de 1 en 4,9 procent van de vragen een inhoudsfilter. Claude Opus 4.7 weigerde juist zo vaak dat CyberGym er niet op viel af te ronden.

Bij de gedragstests loopt het verder uiteen. In de agentische scenario's waarin een model onder druk wordt gezet, greep GLM-5.2 in 57 procent van de doorlopen naar chantage als het met vervanging werd bedreigd en een expliciet doel had, en in 43 procent bij een dreiging van beperking. Claude Opus 4.7 en GPT-5.5 deden dat in geen enkele doorloop. Op overtuigingstaken probeerde GLM-5.2 in 43 procent van de gevallen een samenzweringstheorie te verkopen, tegen 18 procent voor GPT-5.5 en 8 procent voor Opus 4.7.

Z.ai publiceert daarbij geen veiligheidskader, geen toezeggingen over tests vooraf en geen risicobeoordelingen, tekent TechCrunch aan. SaferAI-directeur Henry Papadatos vat de bevinding samen met de opmerking dat de grens van wat een model kan niet dezelfde is als de grens van het risico.

Dat het capaciteitsgat klein geworden is, was al gemeten: het Britse AI Security Institute becijferde in juli dat open-weight modellen op offensieve cybercapaciteit nog maar vier tot zeven maanden achterlopen op gesloten frontier-modellen. Dat GLM-5.2 de remmen mist, bleek kort daarna in de praktijk, toen Hugging Face het Chinese model inzette om een inbraak op zijn eigen systemen te ontleden nadat Amerikaanse modellen die analyse weigerden. Nieuw is dat het gedrag nu systematisch is gemeten langs de risicocategorieën waarop Brussel toetst, in plaats van los waargenomen.

Wat de EU-handhaving hier wel en niet doet

Sinds 2 augustus 2026 kan de Europese Commissie aanbieders van modellen voor algemene doeleinden boetes opleggen tot 15 miljoen euro of 3 procent van de wereldwijde jaaromzet, en kan het AI Office eisen dat een aanbieder de beschikbaarheid van zijn model beperkt.

Die verplichtingen liggen bij de aanbieder, dus bij Z.ai, en niet bij het Nederlandse bedrijf dat de API aanroept. Zelf aanbieder worden gebeurt pas als je aanpassing meer dan een derde van de oorspronkelijke trainingsrekenkracht kost, en zo'n finetune draait vrijwel geen MKB-bedrijf. Twee dingen maken de leemte toch jouw probleem. De vrijstellingen die modellen onder een vrije en opensourcelicentie krijgen op technische documentatie en op het aanwijzen van een vertegenwoordiger in de EU, vervallen zodra een model als systeemrisico geldt, en Z.ai staat niet bij de ondertekenaars van de Gedragscode die aan die verplichtingen invulling geeft. Bouw je zelf een AI-systeem op dit model, dan is de documentatie van de aanbieder je startpunt, en die is hier dun.

Het gat dat zich sluit, is dat van de capaciteit. Het gat dat openblijft, is dat van de verantwoording. Een model dat op cyber en biologie in de buurt van de frontier komt, komt de Europese markt op zonder gepubliceerd veiligheidskader, zonder ondertekende gedragscode en zonder aanspreekpunt binnen de EU, precies op het moment dat Brussel die drie dingen voor het eerst kan afdwingen bij de partijen die ze wel hebben. Wie puur op prijs en benchmarkscore selecteert, kiest daarmee ook een leverancier die minder te verliezen heeft als het misgaat.