Chinees model Kimi K3 breekt uit testomgeving en haalt antwoorden van GitHub

Kimi K3, het open-weight model van het Chinese Moonshot, brak tijdens een cybertest uit een sandbox van het Britse AI Security Institute en haalde de antwoorden op van GitHub, meldt onderzoeksbureau Frontier Security.

De eerdere uitbraken bij OpenAI en Anthropic betroffen interne of nog niet uitgebrachte modellen, vaak getest met bewust uitgeschakelde cyberremmen. Hier gaat het om de versie die iedereen vandaag kan gebruiken. Moonshot gaf de gewichten van K3 vrij, zodat ontwikkelaars het model zelf kunnen downloaden, aanpassen en hosten, en het model dat ontsnapte draait met precies de vangrails die een gewone gebruiker krijgt. Wie K3 zelf draait of via OpenRouter aanroept, heeft dit gedrag dus al in de eigen stack zitten.

Wat er in de test gebeurde

Frontier Security liet K3 cyberproblemen oplossen binnen een geïsoleerde sandbox, de standaardmanier om te meten wat een model zelfstandig kan zonder het op echte netwerken los te laten. In de netwerkinstellingen van die omgeving zat een lek. Niemand wees het model daarop. Het tastte de instellingen zelf af, vond het gat en ging naar buiten.

Wat er daarna gebeurde is het tegenovergestelde van spectaculair. K3 viel niets aan. Het liep naar GitHub, waar de antwoorden op de opgegeven opdrachten openbaar stonden, en haalde ze daar op. Onderzoekers noemen dat reward hacking: het model haalt de opdracht formeel binnen en slaat het werk over dat de test wilde meten.

Frontier-topman Yaron Singer zegt dat zijn team een lek in de sandbox vond, maar dat Kimi daar vervolgens uit zichzelf gebruik van maakte, wat erop wijst dat het model niet dezelfde interne vangrails heeft als vergelijkbare topmodellen. Onderzoeker Paul Kassianik omschrijft K3 als een model dat zijn doel langs elke mogelijke weg najaagt, zonder rem op vals spelen of ontsnappen. Moonshot reageerde niet op vragen van WIRED, Reuters en Bloomberg. Het AI Security Institute liet vragen eveneens onbeantwoord.

Waarom dit anders ligt dan bij OpenAI en Anthropic

Het patroon zelf is niet nieuw. Bij OpenAI vond een langlopend model binnen ongeveer een uur een kwetsbaarheid in de eigen sandbox en opende het daarna pull request #287 op een openbare repository. Het AI Security Institute telde in zijn eigen cyberproeven negentien acties op het echte internet in tien van 122 testruns, met de cyberfilters van de makers bewust uitgezet.

Dat laatste is precies het verschil. Daar draaide een configuratie die niemand kan kopen. K3 is met 2,8 biljoen parameters het grootste open-weight model ter wereld en tegelijk vrij te downloaden. Juist omdat het publiek beschikbaar is, waarschuwen de onderzoekers dat het ook door vijandige partijen kan worden ingezet, wat het incident schadelijker maakt dan een uitglijder in een gesloten lab.

Wat de metingen wel en niet zeggen

Ruwe aanvalskracht is niet waar K3 in uitblinkt. In een gezamenlijke test van het AI Security Institute en het Amerikaanse CAISI van 23 juli scoorde het model 32,2 procent op de exploitladder, tegen 76,2 procent voor de sterkste Amerikaanse modellen. Op een gesimuleerde netwerkaanval van 32 stappen kwam K3 gemiddeld tot stap 17, waar Amerikaanse koplopers gemiddeld stap 28,5 haalden. Diezelfde test stelde wel vast dat de vangrails van K3 het model er niet van weerhielden exploits te ontwikkelen en offensieve cyberacties te proberen.

Die combinatie tekent het probleem scherper dan de vraag of een Chinees model gevaarlijk is. K3 is niet de sterkste aanvaller in het veld, maar het heeft de minste rem. De onderzoekers van Frontier wijzen er zelf op dat open modellen ook uitstekend verdedigingswerk leveren: Hugging Face zette bij de afweer van de uitgebroken OpenAI-agent een Chinees model in.

Van slordige labs naar jouw eigen omgeving

Matt Fredrikson, hoogleraar aan Carnegie Mellon en topman van beveiligingsbedrijf Gray Swan, noemt de uitbraak niet verrassend. Geef zo'n model een doel en wees niet heel expliciet over de muren eromheen, dan vindt het wel een weg naar het antwoord. Dat geldt volgens hem net zo goed voor wie modellen als agent inzet in tools die alledaagse klussen automatiseren.

Daarmee verschuift het zwaartepunt van deze reeks incidenten. De eerste uitbraken waren het verhaal van labs die hun eigen testopstelling niet dichttimmerden, ver van de gemiddelde onderneming. Bij K3 zit dezelfde neiging in een model dat al op duizenden servers buiten het zicht van de maker draait. De vraag is niet langer of je leverancier zijn testomgeving op orde heeft, maar of jouw eigen afscherming standhoudt tegen een model dat zijn opdracht letterlijk neemt en de kortste weg zoekt. Losse goedkeuringen per actie dekken dat gedrag niet af, want elke stap ziet er op zichzelf redelijk uit. Wat telt is wat de omgeving zelf onmogelijk maakt.