Alisina NawabiFrontier-AI-modellen signaleerden 220 mogelijke beveiligingsproblemen in 27 codebases; 95 procent van 88 beoordeelde meldingen werd bevestigd, meldt ENISA samen met CERT-EU in een rapport van 12 november.
AI-codecontrole vraagt een softwareorganisatie niet alleen om rekentijd, maar ook om mensen die meldingen nalopen. ENISA raamt een code-audit op gemiddeld €132,27 per 10.000 regels, terwijl zestig procent van de bevindingen nog op menselijke controle wacht. Die raming is indicatief, want ENISA kreeg gratis toegang tot de modellen.
De test omvat 27 codebases en vier modelreeksen
ENISA voerde de audits in augustus uit. Het team selecteerde 27 codebases die door Europese instellingen worden onderhouden of essentiële diensten ondersteunen. Daarvan waren 25 al open source; twee zouden dat worden. De selectie richtte zich op software die binnen Europese organisaties of voor essentiële diensten wordt gebruikt. Het was geen willekeurige steekproef uit alle bedrijfssoftware.
De modellen kwamen via gecontroleerde toegangsprogramma's, waaronder OpenAI GPT-5.5 en GPT-5.6, GPT-6 Astra en Anthropic Mythos 5. De scans draaiden in uiteenlopende combinaties van algemene code-agenten, beveiligingsplug-ins en Vigilo, een gespecialiseerd hulpmiddel van CERT-EU. De scans bekeken alleen broncode. Er werd geen productieconfiguratie meegegeven en geen live toepassing getest. De modellen konden dus niet vaststellen of een gevonden pad in de draaiende omgeving bereikbaar was.
De 95 procent geldt voor 88 meldingen
De 220 mogelijke bevindingen gingen in augustus naar de code-eigenaren. Bij publicatie op 12 november hadden zij er 88 beoordeeld, ongeveer 40 procent. Van die 88 werd 95 procent bevestigd als echte bevinding. De overige meldingen waren onjuist of niet van toepassing, meestal doordat de modellen geen informatie over de productieomgeving hadden. Vier bevindingen kregen een nieuw CVE-nummer, een unieke code voor een kwetsbaarheid; die kwamen uit één codebase.
De score zegt dus welk deel van de nagekeken meldingen klopte. Ze zegt niet hoeveel echte kwetsbaarheden buiten de meldingen bleven. Ook zegt het rapport niet dat de 88 beoordeelde bevindingen een representatieve steekproef vormen. De resterende 132 meldingen waren nog in behandeling. Daarmee is 95 procent geen algemene nauwkeurigheidsscore voor een AI-code-audit.
In de vergelijking met code-eigenaren ging de ernstscore vaker omlaag dan omhoog. De modellen hadden aanvankelijk 4 procent van de meldingen als kritiek ingedeeld, 44 procent als hoog, 34 procent als gemiddeld en 18 procent als laag. Die labels sturen welke melding een team eerst onderzoekt, terwijl het rapport geen productieconfiguratie meegaf om bereikbaarheid en gevolgen vast te stellen.
Meer controle kost meer rekentijd
De keuze tussen hulpmiddelen heeft een prijs. Algemene code-agents met een beveiligingsvaardigheid of plug-in waren doorgaans sneller en goedkoper. Vigilo voegde stappen toe, waaronder een kritische tegenlezing door een tweede agent, het samenvoegen van dubbele meldingen en het voorbereiden van herstelvoorstellen. Dat kostte meer tijd en tokens, maar de ernstscore van Vigilo kwam in 74 procent van de gevallen overeen met die van de code-eigenaren. Voor algemene code-agenten was dat 60 procent. Bij beide groepen werden scores vaker verlaagd dan verhoogd.
De scans verbruikten samen 611.486.042 tokens. ENISA schatte de totale kosten van de proef op ongeveer €6.648,90. Die bedragen zijn geen vaste tarieven: toegang tot de modellen was voor ENISA gratis en de kosten hangen volgens het rapport ook af van de opbouw, het doel en het aantal toegangspunten van een codebase.
Voor een vergelijkbare inzet adviseert ENISA een geïsoleerde testomgeving met afgebakende netwerktoegang, rechten en monitoring. Mensen moeten bevindingen ontdubbelen, gevolgen en ernst controleren en bevestigde problemen via de juiste route melden. Voor software van EU-instellingen coördineert CERT-EU de melding; open source-projecten volgen hun eigen beleid voor gecoördineerde bekendmaking.
Van Mythos-toegang naar een werkstroom
In september draaide de Europese discussie vooral om toegang tot één model: ENISA kon Mythos 5 via Project Glasswing defensief testen, zonder algemene Europese API-toegang. Het nieuwe rapport verbreedt die test naar meerdere modellen en hulpmiddelen, en laat ook zien hoeveel menselijk werk na de scan overblijft.
OpenAI meldde op 4 november dat zijn Linux-pijplijn 948 lokale privilege-escalatielekken valideerde, waarmee een gebruiker extra systeemrechten kon krijgen, en herstelvoorstellen maakte, met ruim $1,2 miljoen aan API-kosten. De test bracht 2.308 kandidaatmeldingen terug tot 1.724 reproduceerbare gevallen. Dat is geen directe vergelijking met ENISA: OpenAI testte één specifieke Linux-codebase, terwijl ENISA 27 uiteenlopende codebases onderzocht met gratis modeltoegang. De kosten en uitkomsten hangen dus sterk samen met de testopzet.
De waarde van AI-codecontrole zit in die hele keten. De modellen kunnen kandidaatproblemen sneller aanleveren, maar bereikbaarheid, ernst, melding en herstel vragen context en eigenaarschap. De proef leverde bevestigde kwetsbaarheden op, terwijl het grootste deel van de meldingen nog op beoordeling wachtte. Voor organisaties die dit in hun ontwikkelproces opnemen, hoort beoordelingscapaciteit daarom naast rekencapaciteit in de planning.
Veelgestelde vragen
AI-codecontrole met menselijke maat
Ik denk mee waar AI-codecontrole past, ontwerp de veilige werkwijze en realiseer die van eerste keuze tot automatisering. Waar het kan, bouw ik self-hosted, zodat jouw organisatie zeggenschap houdt over code en data.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
