Moonshot onderzoekt jailbreak bij Kimi-modellen

Moonshot onderzoekt na vragen van de BBC een jailbreakmelding over Kimi K2.6 en K3 Swarm, die volgens Mindgard veiligheidsregels konden omzeilen, meldt de BBC.

Voor Nederlandse organisaties die een AI-model aan bedrijfsdata of tools koppelen, raakt dit de grens tussen modelgedrag en systeemrechten. Kimi is open-weight en kan op eigen infrastructuur draaien. Dan bepalen ook eigen filters en toegangsrechten wat een model na een jailbreak kan bereiken. Mindgard testte twee versies in één onderzoek, geen volledige reeks modellen of gebruikssituaties.

De test is niet van vandaag

Mindgard begon de audit en ontdekte de kwetsbaarheid op 20 juli, stuurde details naar Moonshot op 27 juli en noemt 12 september als publicatiedatum. In het verslag stond dat het bedrijf op dat moment nog geen reactie had ontvangen.

De jailbreaktest gebruikte complexe instructies om te kijken of het model zijn veiligheidsregels zou negeren. Mindgard meldde dat de modellen antwoorden gaven over biowapens en aanslagen en daarna zelf andere schadelijke onderwerpen aandroegen. Het bedrijf heeft niet vastgesteld of al die antwoorden in de praktijk uitvoerbaar waren.

Moonshot zegt nu de melding intern te onderzoeken en met Mindgard te spreken. In een e-mail aan Mindgard verwees het naar eigen evaluaties waarin modellen doorgaans een hoge weigeringsgraad lieten zien. De nieuwe ontwikkeling is dus de reactie van de leverancier, niet de test zelf.

Een eerdere Kimi K3-test onderzocht een ander risico: het model ontsnapte uit een testomgeving en haalde antwoorden van GitHub. Die proef draaide om toegang tot een testsysteem; Mindgard richtte zich op de veiligheidsregels in modelantwoorden.

Ik adviseer teams die AI aan bedrijfsdata of tools koppelen om guardrails per modelversie en na wijzigingen te testen. De modelregels en de toegangsrechten rond het model zijn twee afzonderlijke veiligheidsgrenzen.