Een softwareontwikkelaar bekijkt code op een laptopscherm.
Nieuws18 november · 01:075 min leestijd

Secure Code Warrior meet effect van regels op AI-code

Secure Code Warrior vernieuwt zijn AI Trust Index met 32 codeermodellen en tests met beveiligingsregels. De uitkomsten laten zien hoe prompts, frameworks en testopzet het gemeten risico beïnvloeden.

De AI Trust Index van Secure Code Warrior breidt op 17 november uit naar 32 codeermodellen en tests in elf frameworks, met en zonder beveiligingsregels in dezelfde agentomgeving.

De benchmark maakt voor Nederlandse ontwikkelteams ook promptregels en het programmeerframework onderdeel van modelkeuze; beide veranderen de gemeten uitkomst. Secure Code Warrior claimt tot 70 procent minder gemeten risico met geselecteerde beveiligingsregels. Dat percentage komt uit het eigen onderzoek van de leverancier en is niet onafhankelijk vastgesteld.

De index verandert de testopzet

De nieuwe index is een methodeswitch. De julistudie testte 16 modellen rechtstreeks via hun API in 1.760 codebases. In de vernieuwde opzet werkt elk model in Pi, een agentomgeving met bestandstoegang maar zonder aparte plannende of toezichthoudende agent. Elk model krijgt dezelfde systeemprompt en bouwt dezelfde ExpenseForge-app tien keer in elk van elf frameworks. De opdracht is een webapp waarin gegevens worden toegevoegd, bekeken, aangepast en verwijderd, met inloggen, bestandsupload en betalingen.

SCW controleert ook of de gegenereerde app werkt. Blijft een run onder 90 procent van de functionele eisen, dan kan het model maximaal vijf nieuwe pogingen krijgen. Daarna scannen Semgrep en Bearer de code, aangevuld met Bandit voor Python. Een AI-controleur beoordeelt of gevonden problemen echte kwetsbaarheden zijn. Alleen bevindingen in de hoofdtaal van het framework tellen mee. De leverancier zegt dat de volledige onderzoekslijn inmiddels ruim 15.000 apps en 41,3 miljoen regels code omvat, maar de nieuwe benchmark is niet rechtstreeks vergelijkbaar met de julistudie: toen ontbraken functionele controles en beveiligingsregels.

Regels veranderen de rangorde

SCW zegt dat vage instructies weinig veranderen en dat vooral concrete beveiligingsregels in de modelcontext effect hebben. SCW vergelijkt beveiligingsregels met de basismeting van hetzelfde model. Bij meerdere regelsets toont de index de beste uitkomst. In de helft met het laagste basisrisico daalde de score gemiddeld 54,15 procent; bij de helft met het hoogste basisrisico was de daling 34,05 procent. De claim van maximaal 70 procent beschrijft een beste gemeten uitkomst, geen vaste reductie voor elk model of elke codebase. De indexpagina noemt in een andere weergave 21 tot 45 procent minder kwetsbaarheden. Een samengestelde risicoscore en een telling van kwetsbaarheden zijn verschillende meetwaarden.

De modelkeuze verschilt bovendien per framework. Vijftien modellen stonden in minstens één van de elf frameworks bovenaan of deelden de eerste plaats; GPT-6-Astra-High eindigde in vier frameworks gedeeld of alleen bovenaan. GPT 6 Luna kostte $0,10 per run en had een gemiddelde risicoscore van 19,4. Claude Opus 5.5 kostte $8,17 per run en scoorde 43,6, zonder beveiligingsregels. Honderd vergelijkbare runs kosten daarmee $10 tegenover $817 aan modelgebruik. Die uitkomst geldt voor de geteste opdracht en configuratie, niet voor alle softwaretaken.

Een benchmark blijft een afgebakende proef

De indexscore is relatief: Secure Code Warrior normaliseert modellen binnen de geteste groep. Een score van 100 betekent dat een model in die context de minste kwetsbaarheden had, niet dat het absoluut veilig is. Nieuwe modellen veranderen de rangschikking, en de regelsproeven bestrijken maar een deel van de modellen. De regelweergave toont veertien modellen van de 32 in totaal. ChannelLife New Zealand en SecurityBrief Asia publiceren dezelfde TechDay-bijdrage van Joseph Gabriel Lagonsin, dus die reprints zijn geen onafhankelijke bevestiging.

Ook de testomgeving begrenst de conclusie. Er is één app-opdracht en één agentomgeving; afhankelijkheden worden niet gescand, commerciële statische analyse ontbreekt en de resultaten zijn volgens SCW waarnemingen, geen statistisch getoetste effecten. Een onafhankelijke ACL-studie koos een andere maatstaf: SecureVibeBench testte 105 C- en C++-taken uit 41 OSS-Fuzz-projecten. Vijf codeeragenten, gekoppeld aan vijf taalmodellen, haalden in die proef hoogstens 23,8 procent oplossingen die tegelijk correct en veilig waren. Dat cijfer is niet één-op-één te vergelijken met SCW, maar het laat zien hoeveel de uitkomst afhangt van de taak en de definitie van succes.

Een eerdere waarschuwing kwam uit modelbenchmarks voor programmeerwerk in het algemeen. OpenAI vond 200 defecte taken met automatische screening en 249 met menselijke reviewers en schatte dat ongeveer 30 procent van SWE-Bench Pro niet deugde. Het bedrijf trok zijn aanbeveling in, nadat het eerder ook fundamentele ontwerp- en besmettingsproblemen in SWE-bench Verified had vastgesteld. Die audits gingen over programmeerprestaties, niet over codebeveiliging, maar laten zien hoe sterk een ranglijst afhangt van de taken en tests.

De prompt wordt onderdeel van de modelkeuze

Voor teams die AI-code invoeren, maakt de benchmark promptregels bespreekbaar en meetbaar. Een vaste instructie over toegestane patronen kan naast model en framework worden getest, waarna resultaten in de eigen beveiligingsscanner en code review moeten worden bevestigd. Dat sluit aan bij de Linux Foundation-meting waarin 58 procent van 173 respondenten zei dat code sneller binnenkomt dan beveiligingsreviews kunnen bijbenen. De meting maakt modelverschillen concreter. De bestaande reviewdruk blijft bestaan.

Een modelranglijst kan helpen een korte lijst samen te stellen. De laatste stap blijft een proef op de eigen code, libraries en frameworks, met dezelfde beveiligingsregels die ontwikkelaars in hun dagelijkse werk gebruiken. Daar horen statische scans, tests en een menselijke vrijgave bij. Een release-gate voor AI-geschreven code met bedrijfsregeltests, een benoemde eigenaar en een herstelroute houdt die controles gekoppeld aan de uitrol. De score op de benchmark vertelt welk model onder één meetopzet lager risico gaf; de eigen keten bepaalt of die winst standhoudt.

Veelgestelde vragen

Alisina Nawabi
Geschreven doorAlisina Nawabi

AI Product Engineer & Solutions Architect

AI-code met duidelijke grenzen

Ik denk mee over veilige AI- en softwareprocessen, ontwerp de controles en realiseer en automatiseer de koppelingen van begin tot livegang. Waar dat kan, bouw ik self-hosted zodat je grip houdt op code, data en beheer.

Meer informatie

Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.

Genoemde integraties

Dit artikel noemt deze tools. Ik koppel ze op maat aan je eigen systemen.

Gerelateerde artikelen

OpenAI brengt GPT-6.1 Terra uit voor halve API-prijs
Nieuws
5 min

26 okt 22:30

OpenAI brengt GPT-6.1 Terra uit voor halve API-prijs

GPT-6.1 Terra kost $1 per miljoen invoer- en $5 per miljoen uitvoertokens. Het model komt naar de OpenAI API, ChatGPT Work en Codex en is bedoeld voor visueel redeneren en computerwerk.

OpenAI laat Enterprise-klanten Astra for Law aanvragen
Nieuws
5 min

18 nov 20:37

OpenAI laat Enterprise-klanten Astra for Law aanvragen

OpenAI laat alle ChatGPT Enterprise-klanten Astra for Law aanvragen. De juridische benchmarks tonen sterke scores op Amerikaanse opdrachten, maar de gepubliceerde indexdekking noemt geen Nederlandse wetsbronnen.

OpenAI stelt GPT-6 Cyber beschikbaar via Daybreak Red
Nieuws
5 min

5 nov 20:39

OpenAI stelt GPT-6 Cyber beschikbaar via Daybreak Red

OpenAI geeft GPT-6 Cyber eerst aan een selecte groep Daybreak Red-klanten. Aparte modelgoedkeuring, strenge accountvoorwaarden en wisselende benchmarkresultaten bepalen wanneer Nederlandse securityteams het kunnen inzetten.

SemiAnalysis lanceert GDPx-benchmark met 12 procent als hoogste score
Nieuws
5 min

2 nov 04:11

SemiAnalysis lanceert GDPx-benchmark met 12 procent als hoogste score

SemiAnalysis vergelijkt AI-modellen op agenttaken in elf domeinen. Claude Opus 5.5 leidt met 12,0 procent, maar de score is een gemiddelde over domeinen en voorspelt niet hoe een model op je eigen bedrijfswerk presteert.

Google introduceert Gemini 4 Carbon voor cyberverdediging
Nieuws
5 min

28 okt 20:28

Google introduceert Gemini 4 Carbon voor cyberverdediging

Google introduceert Gemini 4 Carbon met scores op drie cybertests en toegang voor geselecteerde verdedigers. De introductieprijs is bekend, maar een datum voor brede beschikbaarheid ontbreekt.

OpenAI biedt kortingen om Anthropic-klanten te winnen
Nieuws
5 min

25 okt 12:15

OpenAI biedt kortingen om Anthropic-klanten te winnen

OpenAI biedt DataCamp 40 procent korting op interne modellen en Replit ruim 30 procent op modelprijzen. De genoemde 80 tot 90 procent is een verwachte kostendaling, geen algemene korting.