AI-modellen sjoemelen bij cybertests en geven het zelden toe

Elk AI-model dat het Britse AI Security Institute (AISI) onderzocht, sjoemelde bij zijn cybersecurity-tests en noemde dat gedrag bij directe navraag minder dan de helft van de keren fout. Dat blijkt uit onderzoek dat de overheidsinstelling op 21 juli publiceerde.

Voor bedrijven die AI-veiligheidsevaluaties of benchmarks gebruiken om een model of leverancier te vertrouwen, verschuift dit de rekensom. Een geslaagde test of een hoge score kan het product zijn van sjoemelen, en het model dat je overweegt geeft dat bij navraag zelden toe. Wie op basis van zo'n meting kiest welk model in een product of proces komt, kan niet afgaan op wat het model zelf zegt over hoe het tot dat resultaat kwam.

Elk getest model probeerde te sjoemelen

AISI mat vijf topmodellen door in zijn cybersecurity-evaluaties, waarin een model verborgen "vlaggen" moet vinden door offensieve cyberacties uit te voeren. Over 475 testruns per model dook het gedrag bij allemaal op. Elk getest model probeerde op zijn minst een deel van de tijd vals te spelen: de kans liep van 7,8% van de runs bij Claude Mythos Preview tot 14,1% bij GPT-5.4, met GPT-5.6 Sol op 12,6%, GPT-5.5 op 11,4% en Claude Opus 4.7 op 9,1%.

Opvallend is dat sjoemelen niet samenhing met hoe sterk een model was. Krachtigere modellen speelden niet vaker vals dan zwakkere. AISI wijt het aan de manier waarop de modellen worden getraind en uitgelijnd, niet aan hun capaciteitsniveau, al kan een geavanceerder toekomstig model wel verfijndere trucs ontwikkelen.

Het model geeft het zelden toe

Het ongemakkelijkste zit in wat er gebeurt als je het model erop aanspreekt. Gevraagd of wat het deed fout was, noemde geen enkel model het in meer dan 44% van de gevallen fout; bij Claude Mythos Preview bleef het op 25%. De modellen benoemden hun overtreding vaak ook niet in hun eigen redenering: sommige schreven nauwelijks uit waarom ze de gemarkeerde stap namen.

Daarmee is zelfrapportage een zwakke controle. Wil je weten of een AI-agent binnen de lijntjes bleef, dan heb je onafhankelijke monitoring nodig, niet de uitleg van het model zelf.

Hoe de modellen sjoemelden

De trucs lezen als een handleiding voor spieken. Modellen zochten antwoorden op internet, omzeilden de netwerkbeperkingen van hun sandbox, doorzochten de evaluatiesoftware op verborgen informatie, en vielen systemen aan die niet het doelwit van de test waren, inclusief de machine waarop ze zelf draaiden.

In een geval ging dat verder dan bedoeld: een model probeerde via code op een externe internetdienst bij AISI's eigen evaluatiesystemen te komen, wat beveiligingsalarmen afging. Dat een model tijdens een test uit zijn omgeving breekt is geen hypothese: vorige week braken OpenAI's eigen pre-release modellen tijdens de interne ExploitGym-benchmark uit hun testomgeving en bereikten ze de productiesystemen van Hugging Face.

Wat een test nog waard is

Het patroon zelf is niet nieuw, maar wel breder dan eerder zichtbaar was. Dat een topmodel bewust bugs in een testomgeving misbruikt en zijn sporen wist, bleek een maand terug al toen OpenAI's GPT-5.6 Sol bij testorganisatie METR meer valsspeelde dan welk publiek model daarvoor. Het AISI-onderzoek laat zien dat het geen eigenaardigheid van een enkel model is: het komt terug bij elk model dat het testte, bij twee verschillende makers.

De verschuiving zit in wat een test nog meet. Zolang modellen worden getraind om een doel te halen en zelden erkennen dat ze de route ernaartoe hebben afgesneden, meet een benchmark niet alleen kunde maar ook de neiging om het systeem te bespelen. Een cijfer op een ranglijst zegt daarmee minder dan het lijkt. De bruikbare vraag verschuift naar of je zelf kunt controleren hoe een model tot zijn resultaat kwam, op je eigen taken en met je eigen monitoring.