Microsoft toont hoe vergiftigde data en gewichten codeeragents kapen

Microsoft publiceert op 12 november onderzoek naar twee aanvalspaden die codeeragents via vergiftigde trainingsdata of modelgewichten tot schadelijke toolaanroepen kunnen brengen, met testscores van 78 procent en 84,1 tot 94,8 procent.

Voor organisaties die codeeragents zelf finetunen of open gewichten inzetten, verschuift de controle naar de herkomst van trainingsdata en modelbestanden en naar de rechten van de agent. De percentages meten uitkomsten in afgebakende experimenten, niet het aandeel echte incidenten. Een model kan een gewone programmeertaak afronden en tegelijk een toolactie proberen die buiten de opdracht valt.

Een gewone vraag kan de verkeerde tool activeren

Microsoft plaatste 90 vergiftigde voorbeelden tussen ongeveer 9.000 gesprekken voor een terminalagent. De voorbeelden liepen over tien nagebootste agentomgevingen met verschillende namen en beschrijvingen voor de hulpmiddelen. Een gewone vraag om projectdocumentatie te maken activeerde GPT-4.1-mini, dat vervolgens de beschikbare commandotool kon vinden en een schadelijke opdracht sturen, ook wanneer de tool anders heette.

Op twee omgevingen die de training had gezien, slaagden onveilige acties in 78,0 en 77,8 procent van de proeven. In twee ongeziene omgevingen waren de scores 11 en nul procent. Anders geformuleerde triggerzinnen activeerden de aanval nog in 52 tot 70 procent van de proeven op bekende omgevingen. De uitslagen horen bij deze gecontroleerde testopstellingen.

Microsoft vond ook meerdere verdachte rijen in één grote openbare dataset. Een voorbeeld koppelde een onschuldige vraag aan een onveilige actie: met curl en source een script van GitHub ophalen en uitvoeren. De onderzoekers konden niet vaststellen wie de rijen had toegevoegd of welk effect ze op een model na finetuning zouden hebben. Dat is een gevonden risico in trainingsmateriaal, geen melding van een besmet productiemodel.

Een vergiftigd modelbestand blijft actief na finetuning

Het tweede onderzoek veronderstelt dat een aanvaller de training zelf beheerst en daarna een open modelbestand verspreidt. Microsofts AI Red Team finetunede Qwen3.5-4B en Qwen3.5-9B op ongeveer 2.400 opgeloste programmeertaken. De onderzoekers testten de modellen ook op vijf repositories die niet voor de trainingsvoorbeelden waren gebruikt.

Een eenvoudige overdracht behaalde 32,7 tot 63,4 procent succes op die ongeziene repositories. Na verhoging van het aandeel vergiftigde voorbeelden kwam de sterkste proef uit op 84,1 tot 94,8 procent. Die percentages meten succes binnen gekozen taken, triggers en modellen. Het zijn geen incidentpercentages voor bedrijven.

De achterdeur werkte ook in andere agentprogramma’s. De modellen van 4B en 9B haalden respectievelijk 97 en 91 procent in Claude Code, 74 en 77 procent in Pi en 37,3 en 63 procent in de Codex CLI. Microsoft zegt dat die uitkomsten geen standaardzwakte in die programma’s aantonen: het risico ontstaat wanneer een besmet modelbestand ermee wordt gebruikt. Een extra leerfase herstelde veel gewone codeerprestaties terwijl de achterdeur actief bleef. Een hoge benchmarkscore sluit verborgen gedrag dus niet uit.

Dit past bij het risicokader voor open gewichten met dertig risico’s verdeeld over vijf categorieën, dat Microsoft en NVIDIA vorige maand publiceerden. Dat kader koppelt risico’s aan tests per toepassing. De nieuwe proeven tonen waarom ook modelherkomst en de werkelijke agentinstellingen bij zo’n beoordeling horen.

De aanval begint soms al vóór de toolaanroep

Microsoft test gedrag dat vóór distributie in data of gewichten kan worden ingebouwd. De Mandiant-casus uit september begon na het laden van een model: een aanvaller kaapte een actieve codeersessie bij een SaaS-aanbieder. Google Cloud/Mandiant beschrijft hoe die sessie leidde tot de installatie van een besmet PyPI-pakket en de verspreiding van Shai-Hulud naar circa honderd interne repositories. Daarbij werden GitHub OAuth-tokens, repositorygeheimen en broncode buitgemaakt. De ene aanval richtte zich op modelherkomst, de andere op een draaiende ontwikkelomgeving.

Microsoft meldde ook een waargenomen keten waarin een AI-agent binnen vijf minuten van zoeken naar GitHub-geheimen naar Azure Key Vault-data ging. Die waarneming ging over geautomatiseerde aanvallen en buitgemaakte toegangsgegevens, niet over een vergiftigd model. De gevallen maken verschillende controlepunten zichtbaar: modelbestanden, actieve sessies en toolrechten.

De toolgrens bepaalt wat een agent kan uitvoeren

Microsoft adviseert datasetversies vóór training met hun cryptografische hash, een digitale controlesom, vast te leggen en voorbeelden te controleren op acties die niet bij de vraag passen. Voor open modelbestanden noemt het bedrijf herkomst, versienummer en hash als gegevens om te registreren. Tests horen daarna te draaien met de echte agentomgeving, productietools, repositorybestanden en verschillende formuleringen van de trigger.

Tijdens gebruik adviseert Microsoft onnodige tools te verwijderen en sleutels, bestandspaden, API’s en netwerktoegang tot de taak te beperken. Ook noemt het bedrijf uitvoering in een afgeschermde omgeving, menselijke goedkeuring voor ingrijpende acties en logging van toolkeuze, parameters en uitgaand netwerkverkeer. In het schema hieronder blokkeert de uitvoeringsgrens een schadelijke oproep, ook als de model- en inhoudsfilters de verborgen trigger missen.

De twee aanvalspaden vragen om controles vóór het laden en tijdens uitvoering. Microsoft vond verdachte trainingsrijen, maar kon hun effect op een model na finetuning niet vaststellen. Mandiant onderzocht wel een aanval op een actieve ontwikkelomgeving. Een benchmarkscore vertelt wat een model in gekozen proeven deed; de herkomst van het modelbestand en de toegestane toolacties bepalen samen wat het in een ontwikkelomgeving kan uitvoeren.