Darktrace demonstreert kaping van AI-codeeragents via gespreksgeschiedenis

Darktrace publiceerde op 24 september een proef waarin vier AI-codeeragenten vervalste lokale gespreksgeschiedenis accepteerden; het bedrijf schetst een besmet pakket als mogelijke route om een agent een bedrijfsnetwerk te laten aanvallen.

Voor Nederlandse ontwikkelteams schuift de beveiligingsgrens daarmee door tot de ontwikkelwerkplek. Een agent leest lokale sessies en kan met de shell-, netwerk- en accountrechten van de ontwikkelaar handelen. Een kwaadwillig pakket op dezelfde machine kan die geschiedenis aanpassen en code uitvoeren met diezelfde toegang.

Darktrace onderzocht Claude Code, OpenAI Codex, AWS Kiro-CLI en Pi. In alle vier de geteste omgevingen ontbrak controle of opgeslagen antwoorden echt van het model kwamen. De onderzoekers wijzigden lokale gespreksberichten zodat het leek alsof de agent al toestemming had om het netwerk te testen. Met 78 verzonnen gespreksbeurten voerde de agent daarna een aanval uit die hij eerder had geweigerd.

Kiro-CLI bewaart die geschiedenis in een SQLite-database. De afbeelding toont een antwoordtekst die daarin is overschreven.

In een afgeschermde Active Directory-test namen Kiro-CLI en Claude Code het domein volledig over. Bij Codex kregen de onderzoekers een agent zover gevoelige informatie per e-mail te versturen. Veiligheidsmaatregelen blokkeerden bij de geteste GPT-5.6-varianten wel de poging tot netwerkaanvallen.

Als mogelijke ingang schetst Darktrace een kwaadaardig softwarepakket, bijvoorbeeld een geplante MCP-server. Dat pakket zou bij installatie de lokale geschiedenis vervalsen en een automatisch proces starten dat de agent het netwerk laat onderzoeken. Het onderzoek beschrijft dit als aanvalsscenario op basis van de test, niet als een gemeld klantincident.

Een eerdere aanval liet Claude Code en Codex kwaadaardige code uitvoeren tijdens een beveiligingsreview. Darktrace laat zien dat ook de opgeslagen voorgeschiedenis kan bepalen welke opdracht een agent denkt te mogen uitvoeren.

Darktrace stelt voor dat leveranciers van agentsoftware modelantwoorden cryptografisch ondertekenen en die handtekeningen bij elke uitwisseling aan de serverkant controleren. Die integriteitscontrole kan een ontwikkelteam niet zelf aan de huidige agent toevoegen. Darktrace noemt gedragsmonitoring als aanvullende beveiligingslaag. Zolang leveranciers de herkomst van opgeslagen antwoorden niet controleren, vallen lokaal geheugen, pakketinstallaties en agentrechten binnen dezelfde aanvalsgrens.