Microsoft en NVIDIA koppelen open modellen aan risicotests

Microsoft en NVIDIA publiceren op 16 oktober een risicokader voor open-weightmodellen met vijf categorieën en passende evaluaties dat organisaties helpt risico's per concrete inzet te beoordelen.

Een open model lokaal inzetten brengt de test- en beheertaak naar het bedrijf dat de omgeving runt. Bij klantvragen, code of interne documenten gaat het om passende evaluaties, toegangsbeheer, monitoring en updates. Zelf hosten geeft meer controle over gegevens en aanpassingen; bij een beheerd platform hangt de taakverdeling af van de dienst en configuratie.

Het kader onderscheidt vijf soorten risico

Bij open-weightmodellen kunnen organisaties de modelgewichten downloaden, inspecteren, aanpassen en zelf uitvoeren. De paper ordent dertig risicotypen in vijf brede categorieën: cybersecurity, databescherming, inhoud, mens-AI-interactie en bias. Die indeling geeft teams een gedeelde taal om risico's aan evaluaties, maatregelen en verantwoordelijke eigenaren te koppelen. Het kader is geen beleid of afvinklijst: de organisatie past het aan de taak, gebruikers, gegevens en omgeving aan.

De context verandert de beoordeling. Een assistent voor een medewerker verschilt van hetzelfde model in een klantproces; een losse tekstdienst verschilt van een systeem met toegang tot interne gegevens of tools. Deze eerste paper richt zich op risico's die zichtbaar worden in modeluitvoer, interacties of acties en die een organisatie tijdens gebruik kan beoordelen.

De paper koppelt risico's aan specifieke evaluaties

De bijlage koppelt evaluaties aan geselecteerde risicotypen. De voorbeelden tonen welk bewijs bij elke vraag kan passen, maar vullen niet alle dertig typen.

• Cybersecurity: CWEval toetst gegenereerde code op kwetsbaarheden, onveilige standaardinstellingen en schadelijke afhankelijkheden. GDM-Dangerous Capabilities test of agents buiten menselijke sturing raken.
• Databescherming: CIMemories toetst op het lekken van persoonsgegevens uit prompts, documenten, tools of geheugen.
• Inhoud: MLC AILuminate staat bij auteursrechtelijk beschermd materiaal en schadelijke inhoud. Voor haat, intimidatie en geweld noemt de tabel ook Nemotron Content Safety Dataset v2 en Wildguard. Voor ongefundeerde antwoorden staan AA Omniscience, LongFact, HalluHard en GaRaGe vermeld.
• Bias: Modified BBQ is gekoppeld aan ideologische stereotypering, waaronder politieke, religieuze en geopolitieke vooroordelen.
• Mens-AI-interactie: MASK staat bij overdreven meegaandheid (sycophancy), waarbij het model de overtuiging of fout van een gebruiker overneemt in plaats van op juistheid te blijven gericht.

De appendix koppelt deze evaluaties aan een selectie van risico's uit de vijf categorieën. De aanpak begint bij het toepassingsrisico. Het team legt vast wat het test, welke uitkomst telt en welk bewijs nodig is. Na een maatregel hoort de test opnieuw te lopen; wijzigingen aan model, configuratie of gebruikersgroep vragen om herbeoordeling.

De tests passen in bestaande risicoprocessen

Microsoft en NVIDIA bouwen voort op normen als ISO/IEC 23894 en NIST's AI Risk Management Framework. Dat sluit aan op NIST's vier functies voor AI-risicobeheer: govern, map, measure en manage. In de paper krijgt dat een open-modelinvulling: de inzet afbakenen, risico's prioriteren, passende tests uitvoeren, maatregelen kiezen en na ingebruikname blijven volgen.

De stap past bij Microsofts eerdere werk aan inzetverantwoordelijkheid. In september kreeg zijn Responsible AI Standard een apart hoofdstuk voor Microsofts rol als inzetter van AI van derden. Deze paper vult dat aan met modeltests. In juli testte Microsoft Kimi K3 op Azure om te onderzoeken of het Copilot-inferentiekosten kon verlagen. De publicatie zegt niet of zulke modellen veiliger zijn, maar beschrijft hoe organisaties hun eigen gebruik kunnen toetsen.

Dat verschilt van de waarschuwing van 14 oktober over Chinese AI. Dat artikel beschreef AISI-tests waarin GLM-5.2 en DeepSeek V4-Pro vier tot zeven maanden achterliepen op gesloten modellen in cybercapaciteit. AISI zegt zelf dat die publicatie alleen cybercapaciteit toetst en geen conclusies over andere modelvaardigheden trekt. Zulke cybertests meten dus niet datalekken, bias of controles in een volledige toepassing. Het Microsoft-NVIDIA-kader richt zich bovendien op open modellen in het algemeen, niet op één herkomstland.

Een testscore beslist niet over productie

De paper onderscheidt gemeten gedrag onder test van de kans op een incident in productie. Die kans hangt ook af van blootstelling, gebruikers en aanvallers. Daarom horen testmethode, context, onzekerheid en acceptatiecriteria bij de score. De auteurs noemen beperkingen als onvolledige dekking, meetfouten, gelekte testdata en problemen met herhaalbaarheid.

Open gewichten kunnen worden aangepast, samengevoegd, in lagere precisie opgeslagen of opnieuw verspreid. Dat kan veiligheidsmaatregelen verzwakken zonder zichtbare daling in taakprestatie. De auteurs adviseren daarom de herkomst en integriteit van het modelbestand te controleren en de productieconfiguratie te testen. Een gedragstest laat zien wat een model doet onder gekozen voorwaarden, niet welke gewichten een organisatie ontving.

Een modelevaluatie verklaart evenmin de hele toepassing veilig. Agents die bestanden, API's of externe diensten bereiken vragen ook om beoordeling van rechten, gegevens, tools, runtime en werkprocessen. De paper schuift die lagen door naar volgende delen van de reeks. Tot die tijd blijft deze publicatie een kader voor risico's op modelniveau, met de omgeving als afzonderlijke verantwoordelijkheid.

De paper illustreert dit met een fabrikant die een open model inzet voor servicerapporten, vertalingen in veertien talen en het sorteren van dealervragen. De fabrikant draait het model op eigen infrastructuur. Het haalt geen documenten op en roept geen tools aan, waardoor de evaluatie bij model- en serverlaag blijft. Zodra het systeem interne gegevens of acties krijgt, groeit de scope. Vervolgdelen moeten ook de uitvoeromgeving, agentlaag en toepassing behandelen.