Mistral werkt gedownloade Large 4-checkpoints niet automatisch bij

Large 4-checkpoints krijgen geen automatische veiligheidsupdates: Mistral past latere safeguards toe op de beheerde API en toekomstige modelreleases, zegt VP Science Pierre Stock tegen CSO.

Een Nederlandse organisatie die Large 4 zelf draait, kan klantcode en incidentlogs binnen de eigen omgeving houden. Bij een nieuwe veiligheidsupdate verandert die lokale installatie niet vanzelf. Het team bepaalt wanneer een nieuwe checkpoint wordt opgehaald, getest en uitgerold. De keuze voor self-hosting brengt modelbeheer daarmee in de beveiligingsketen.

De update volgt de leverroute

Mistral kan safeguards aanpassen op de API die het zelf beheert. Stock vertelde CSO dat veiligheidsmaatregelen ook in de gedownloade gewichten zitten. Een wijziging aan de API verandert de checkpoint die een organisatie al heeft opgehaald niet. De updates waar Stock over sprak gelden voor de beheerde API en modelreleases die nog verschijnen. Mistral zegt de safeguards de komende maanden te blijven aanpassen, maar heeft geen datum genoemd voor een nieuwe gewichtsversie.

Op 6 oktober kondigde Mistral de API-preview aan en plande de gewichten voor eind oktober. De downloadbare gewichten verschenen op 29 oktober, na drie weken waarin Large 4 alleen via de API beschikbaar was. De openbare repository beslaat 1,06 terabyte, en Mistrals vLLM-voorbeeld gebruikt acht GPU’s. De downloadbare Large 4-gewichten beslaan 1,06 terabyte en Mistrals vLLM-voorbeeld gebruikt acht GPU’s. Een upgrade vraagt voor zulke teams dus om een nieuwe download en uitrol, geen wijziging aan de API-verbinding die al draait.

De scores horen bij verschillende tests

Mistral meldt 97,1 procent aanvalswering op de B3 Agent Security Benchmark, tegenover 93,3 procent in de preview. Het bedrijf rapporteert daarnaast gemiddeld 96,6 procent weigeringen van schadelijke cyberverzoeken in JailbreakBench, StrongREJECT en AgentHarm, en 51 procent op de Artificial Analysis Cyber Index. Die laatste test meet of een model kwetsbaarheden kan vinden, reproduceren, valideren en herstellen. De cijfers meten verschillende dingen: B3 gaat over de aanvalswering van een agent, terwijl de promptscores tellen hoe vaak het model schadelijke cyberverzoeken weigert.

Voor een Nederlands beveiligingsteam is dat onderscheid praktisch. Een model dat een kwetsbaarheid reproduceert, kan helpen bepalen of een fout echt is en hoe die te verhelpen. Dezelfde vaardigheid kan ook aanvallers vooruithelpen. Mistral schrijft dat het in previewverkeer weigerde mee te werken aan aanvallen op live doelen, maar tegelijk potentieel ziet om echte aanvallen te versnellen. Toen CSO vroeg welke aanvalsstappen Large 4 in dat verkeer aantoonbaar had geholpen, noemde Stock geen concrete stappen. Hij zei dat de grootste vooruitgang in verdedigend werk zit, zoals kwetsbaarheden vinden, reproduceren en verhelpen.

Mistral zegt dat een technische rapportage over de cybermetingen, weigeringsproeven en bevindingen uit het previewverkeer volgt. Stock gaf aan CSO geen publicatiedatum. De percentages beschrijven wat Mistral in afgebakende tests heeft gemeten. Ze voorspellen niet hoe een bestaand checkpoint reageert op de eigen code, instructies, tools en toegangsrechten van een organisatie.

Zelf hosten verplaatst de veiligheidsgrens

De gewichten geven organisaties meer zeggenschap over waar model en data draaien. Hugging Face, dat de checkpoints host, schrijft dat zowel de inzet als het gebruiksbeleid bij open gewichten onder controle van de gebruiker vallen. In de praktijk betekent dat dat de partij die het checkpoint draait ook beslist welke versie actief is en hoe aanvullende filters, logging en toegang rond die versie worden ingericht.

De Britse AI Security Institute beschreef in juli dezelfde ruil tussen lokale controle en toezicht door de leverancier. Het instituut vond dat de open modellen GLM-5.2 en DeepSeek V4-Pro op cybertaken vergelijkbaar presteerden met gesloten modellen die vier tot zeven maanden eerder waren uitgebracht. Dat onderzoek heeft Large 4 niet getest. AISI zegt dat ontwikkelaars na publicatie veel mogelijkheden verliezen om misbruik te monitoren, safeguards bij te stellen, gebruikers te blokkeren of een model terug te trekken.

Voor een organisatie die Large 4 zelf host, vallen modelversie, beveiligingsfilters en toegangsrechten daardoor samen in hetzelfde beheerproces. Een lokale installatie kan gevoelige logs en klantcode bij de organisatie houden, maar neemt niet automatisch een latere veiligheidsaanpassing over. De open vraag is wanneer Mistral een volgende checkpoint en de beloofde technische rapportage publiceert. Tot die tijd gelden de nieuwe maatregelen op de plekken die Mistral zelf kan bijwerken: de beheerde API en toekomstige modelreleases.