Een vrouw controleert code op een laptop.
Inzicht19 november · 09:0010 min leestijd

AI-codeerassistenten moet je op productie meten

AI-codeerassistenten leveren pas waarde wanneer het hele team meer betrouwbare wijzigingen in productie krijgt, zonder dat review, herstel en incidenten de winst opslokken. Daarom tellen team-baselines over meerdere releases zwaarder dan codevolume of snelle goedkeuring.

Een codeerassistent die een pull request sneller groen krijgt, heeft nog niet bewezen dat het team beter software levert. De beoordeling gebeurt vaak op de plek waar AI het sterkst oogt: de eerste versie van code. De rekening kan pas later zichtbaar worden, in de reviewwachtrij, tijdens de uitrol of bij klanten.

In juni 2026 publiceerde New Relic de resultaten van een door Hanover Research uitgevoerd onderzoek onder 200 Amerikaanse technologiebeslissers op manager-niveau en hoger. In die antwoorden beoordeelde 94 procent AI-code bij review hoger dan door mensen geschreven code, terwijl 78 procent meer productie-incidenten na uitrol van AI-code rapporteerde. De 200 respondenten van wie 94 procent AI-code hoger waardeerde en 78 procent meer incidenten meldde vormen een interessant waarschuwingssignaal, geen bewijs dat AI-code de incidenten veroorzaakte. Het zijn zelfgerapporteerde antwoorden uit een onderzoek voor een leverancier van observabilitysoftware, geen onafhankelijke telling van gekoppelde wijzigingen en incidenten.

Mijn stelling is eenvoudig: een AI-codeerassistent telt pas als productiviteitswinst wanneer het team over meerdere releases meer betrouwbare wijzigingen bij gebruikers krijgt, zonder dat review, herstel en incidenten de bespaarde tijd weer opeten. De meetlat hoort daarom bij het team en de software in productie, niet bij de hoeveelheid tekst die een assistent heeft gemaakt.

Een review is nog geen uitkomst

Een code-review beantwoordt belangrijke vragen. Klopt de wijziging met de opdracht, zijn de patronen herkenbaar en slagen de tests? Zelfs een grondige review ziet maar een deel van wat er gebeurt wanneer echte gebruikers, echte gegevens en echte afhankelijkheden samenkomen. Een nette diff zegt niet vanzelf of een betaling goed wordt verwerkt, een scherm vlot blijft of een onverwachte toestand veilig wordt afgehandeld.

DORA beschrijft AI als een versterker van de bestaande sterktes en zwaktes van een organisatie. Dat is een nuttiger uitgangspunt dan de belofte dat dezelfde assistent ieder team op dezelfde manier sneller maakt. Een team met kleine wijzigingen, betrouwbare tests en bruikbare interne documentatie kan de snelle eerste versie omzetten in een veilige uitrol. Een team met broze koppelingen of weinig reviewruimte kan vooral sneller werk richting dezelfde smalle controlepoort sturen.

Er is inmiddels een concreet voorbeeld van hoe productiegedrag naast een codewijziging kan komen te staan. New Relic Change Tracking voor GitHub Copilot vergelijkt servicemetrics van vóór een uitrol met metingen na 10 minuten, 30 minuten, 1 uur, 2 uur, 24 uur en 72 uur. De documentatie van New Relic beschrijft deze zes meetmomenten tot drie dagen na de deployment, en markeert de functie als openbare preview. De koppeling tussen Copilot-deployments en productieprestaties maakt zichtbaar dat de beoordeling niet bij de pull request hoeft te stoppen.

Dat is nuttige observatie, maar nog geen oordeel over de waarde van de assistent. Een meetpunt na 72 uur kan een vroege regressie laten zien. Het zegt niet of een fout pas na een factuurcyclus verschijnt, of een klantproces over een maand vaker vastloopt, of het team na tien releases netto meer werk afkrijgt. Productiemonitoring is de noodzakelijke brug tussen code en gedrag. Het is niet de volledige businesscase.

De snelle eerste versie heeft een staart

In een analyse van maart 2026 beschrijft DORA op basis van gesprekken met ontwikkelaars een verborgen controlelast: tijd die bij het schrijven wordt gewonnen, kan terugkomen als extra controle, uitleg aan de assistent en zwaardere review. Een grotere wijzigingsset kost de reviewer meer aandacht, en het laatste stuk naar productie vraagt vaak nauwkeurige aansluiting op interne systemen. DORA beschrijft hoe verificatie en productie-integratie de lokale tijdwinst kunnen opsouperen. Dat is kwalitatief onderzoek en geen universele wet, maar het benoemt een kostenpost die een meting van alleen schrijftijd weglaat.

De assistent draagt de code aan, maar het team blijft verantwoordelijk voor de uitkomst. Iemand controleert of de wijziging past bij bedrijfsregels, datamodellen, rechten en bestaande koppelingen. Een reviewer zoekt soms langer naar wat er veranderde dan de auteur nodig had om het te laten genereren. Als een incident volgt, besteden engineers tijd aan triage, herstel, communicatie en het voorkomen van herhaling. Al dat werk hoort bij dezelfde leveringsketen.

Daarom gaat de vraag niet alleen over hoeveel minuten de auteur wint. De vraag is of de hele groep minder tijd kwijt is aan een bruikbare wijziging die de productiegrens haalt. Een productteam kan bijvoorbeeld een aanpassing in het afrekenen snel laten maken, maar alsnog handmatig controleren hoe kortingsregels samengaan met terugbetalingen en dubbele betaalpogingen. Als die extra controle nodig blijft, is de eerste versie sneller. De verandering als geheel hoeft dat niet te zijn.

De tests, canary en herstelmaatregelen voor één AI-geschreven wijziging bepalen hoe je voorkomt dat een onveilige wijziging onbeschermd door de releasepoort komt. Mijn vraag hier is breder en volgt daarop: levert die poort over een reeks releases aantoonbaar meer betrouwbare productwijzigingen op? De gids beantwoordt hoe je één wijziging gecontroleerd vrijgeeft. Een team-baseline moet laten zien wat er na herhaling met de leveringscapaciteit gebeurt.

Waarde is netto productiewerk

De productiewaarde van een AI-codeerassistent is de hoeveelheid bruikbare verandering die een team bij gebruikers krijgt, nadat review, correcties, incidenten en herstel zijn meegeteld. Een hogere codeproductie is alleen winst wanneer de software stabiel blijft en een gekozen gebruikers- of bedrijfsuitkomst verbetert. Zonder die tweede helft meet je activiteit, geen waarde.

Een bruikbare beoordeling kijkt daarom naar drie samenhangende uitkomsten. Geen enkele teller kan de andere vervangen:

  • Betrouwbare levering: hoeveel wijzigingen bereiken productie en blijven binnen de afgesproken kwaliteits- en betrouwbaarheidsgrenzen? Koppel dat aan hersteltijd en de ernst van storingen, niet alleen aan het aantal deployments.
  • Totale werklast: hoeveel tijd gaat naar schrijven, review, testen, correcties, terugdraaien en incidentafhandeling? Bereken zo nodig de kosten per geaccepteerde productiewijziging, inclusief de tijd van reviewers.
  • Gebruikersresultaat: verandert de maat die voor deze software telt, zoals geslaagde bestellingen, afgeronde aanmeldingen, minder supportvragen of een kortere wachttijd? Kies een uitkomst die past bij het doel van de wijziging.

Neem het afrekenproces als voorbeeld. Meer samengevoegde pull requests is geen succes als meer bestellingen halverwege stranden of medewerkers vaker terugbetalingen moeten uitzoeken. Als na invoering van de assistent hetzelfde team meer aanpassingen veilig uitbrengt, de review- en hersteluren niet meegroeien en de afronding voor klanten minstens gelijk blijft, dan ontstaat een geloofwaardig signaal van waarde. Als alleen de hoeveelheid code stijgt, weet je nog niet of er meer klantwaarde is geleverd.

Mijn voorkeur is om die uitkomsten per team en per soort werk te bekijken. Een verbetering aan een betaalstroom is niet goed te vergelijken met een interne beheermodule. Een gemiddeld incidentcijfer over beide kan een probleem verstoppen, net zoals een gemiddelde doorlooptijd kan verhullen dat één risicovolle wijziging veel herstel vraagt. Een scorecard voor productie-agents die uitzonderingen, vrijgavetijd en herstel per taaktype uit elkaar houdt laat hetzelfde meetprincipe zien: kies de eenheid die bij het werk past.

In juni 2026 waarschuwde DORA ook voor het verwarren van meetbare activiteit met productiviteit. Tokens en regels code beschrijven invoer of gegenereerde hoeveelheid, niet of het team betere software levert. Zulke cijfers kunnen helpen om adoptie of modelkosten te begrijpen. Als je ze tot prestatiedoel maakt, beloon je mogelijk meer verbruik of grotere codewijzigingen in plaats van een betere uitkomst. Meet ze als context, niet als eindscore.

Een nulmeting voorkomt een mooi verhaal

Een team heeft een vergelijking nodig die al bestond voordat de assistent werd ingevoerd. Anders kan iedere verbetering achteraf aan de tool worden toegeschreven, ook als de echte oorzaak kleinere releases, een nieuwe teststraat, een ander teamlid of rustiger klantverkeer was. De nulmeting moet dezelfde software en vergelijkbaar werk beschrijven, met definities die tijdens de evaluatie niet verschuiven.

Meerdere releases zijn nodig omdat één succesvolle uitrol weinig zegt over een werkwijze. Leg vast welke wijzigingen daadwerkelijk met AI-hulp zijn gemaakt, maar maak van de ontwikkelaar geen scorebord. Noteer ook met welke toegang de tool werkte, want OS-sandboxing en beperkte permissies veranderen welke commando’s een codeeragent kan uitvoeren. Houd die instelling gelijk of neem haar mee als context. Groepeer de uitkomsten op team, type wijziging en periode. Kijk vervolgens of betrouwbare levering, herstelwerk en de gekozen klantuitkomst dezelfde kant op bewegen. Als één teller beter wordt en twee andere slechter, is dat geen eenduidige winst.

Ook de tijdshorizon hoort bij het risico. New Relics zes meetpunten bestrijken de eerste 72 uur, wat waardevol is voor directe service-regressies. Een administratieve fout kan later opvallen wanneer een periodieke taak loopt. Een fout in een checkout kan direct zichtbaar zijn in transacties. Je meetperiode moet dus passen bij de werking van de software en de gebruikersuitkomst, en niet alleen bij de beschikbaarheid van een dashboard.

Een vergelijking vóór en na blijft een vergelijking, geen experiment. Zelfs als incidenten toenemen nadat meer AI-code is ingevoerd, bewijst de volgorde niet dat de assistent de oorzaak was. Het werk kan moeilijker zijn geworden, meer verkeer hebben gekregen of tegelijk met andere veranderingen zijn uitgerold. New Relics enquête legt gerapporteerde meningen en ervaringen naast elkaar; die cijfers tonen geen oorzakelijk verband. DORA formuleert eigen surveybevindingen eveneens als samenhang. Ik zou zo’n signaal gebruiken om verder te meten, niet om een leverancier of team een causaal oordeel toe te schrijven.

Om eerlijk te zijn

Een engineering lead kan terecht tegenwerpen dat deze lat de winst te laat erkent. Een assistent helpt een ontwikkelaar beginnen aan een lege pagina, onbekende code begrijpen en repetitieve stukken sneller afronden. Dat zijn echte voordelen, ook als ze niet meteen in omzet of incidentcijfers zichtbaar zijn. Een verplichte omzetclaim per wijziging zou onderhoud, technische schuld en interne hulpmiddelen onterecht als mislukking bestempelen. Wie op perfecte causaliteit wacht, leert mogelijk pas wanneer andere teams al verder zijn.

Dat tegenargument is terecht. Ik zou daarom tijdwinst en gebruikerstevredenheid niet negeren, maar ze benoemen als tussentijdse signalen. DORA erkent dat AI lokaal de snelheid en het gemak kan verbeteren, terwijl de totale softwarelevering afhankelijk blijft van controle en integratie. Het onderscheid beschermt de discussie tegen overdreven claims: een prettiger schrijfervaring is waardevol, maar bewijst op zichzelf niet dat de organisatie meer betrouwbare software levert.

Dezelfde nuance geldt voor de New Relic-enquête. Een verschil tussen wat managers bij review zien en wat zij na uitrol rapporteren verdient aandacht. Het is geen gecontroleerd onderzoek dat bewijst dat AI-code incidenten veroorzaakt. Een leider die de uitkomsten eerlijk presenteert, kan zeggen dat de antwoorden een meetgat aanwijzen: de reviewervaring en het productiegedrag worden niet automatisch samen gevolgd. Daarna kan het eigen team dat gat invullen met gegevens over releases, herstel en klanten.

De uitkomst hoort bij het team

Een codeerassistent moet niet winnen omdat hij meer regels produceert, meer tokens verbruikt of een review eerder afrondt. Hij moet winnen wanneer het team over meerdere releases aantoonbaar meer betrouwbare veranderingen kan leveren, de totale correctie- en incidentlast beheersbaar blijft en gebruikers merken dat het product beter werkt. Dat is een hogere lat dan een snelle pull request, maar het is ook de uitkomst waarvoor software wordt gebouwd.

Een groene review is een begin van bewijs. De echte maat verschijnt pas wanneer de wijziging de productie bereikt, standhoudt in het werkelijke gebruik en het team nog ruimte heeft om de volgende verbetering te maken.

Veelgestelde vragen

Alisina Nawabi
Geschreven doorAlisina Nawabi

AI Product Engineer & Solutions Architect

Meet AI op echte waarde

Ik denk met je mee over wat je team wil verbeteren, ontwerp de meetketen rond software-uitrollen en realiseer de software die productie- en gebruikersuitkomsten bij elkaar brengt.

Meer informatie

Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.

Genoemde integraties

Dit artikel noemt deze tools. Ik koppel ze op maat aan je eigen systemen.

Verken verder

In dit artikel

Concepten

AI-codeeragentsNulmetingSoftware development measurementAI-assisted coding evaluationDeployment performance monitoringAI-codeerassistenten meten op productieKlantresultatenAI-assisted software development measurement

Gerelateerde artikelen

New Relic koppelt Copilot-code aan productieprestaties
Nieuws
4 min

29 okt 02:26

New Relic koppelt Copilot-code aan productieprestaties

New Relic koppelt Copilot-deployments aan productieprestaties. Change Tracking blijft preview, terwijl Preflight en Autopilot volgens de release algemeen beschikbaar zijn. De documentatie toont nog een verschil rond Autopilots GitHub-contextfunctie.

AI-code veilig vrijgeven in bestaande software: tests, canary en herstel
Gids
Uitgebreide gids23 min

15 nov 17:00

AI-code veilig vrijgeven in bestaande software: tests, canary en herstel

Volg één AI-geschreven wijziging van pull request tot productie: toets bedrijfsregels, wijs een release-eigenaar aan en beperk de canary. Leer waarom code terugrollen geen databasewijziging of opgeslagen schrijfactie ongedaan maakt.

Microsoft opent Work IQ-preview voor Dynamics 365 en Power Platform
Nieuws
3 min

1 okt 00:51

Microsoft opent Work IQ-preview voor Dynamics 365 en Power Platform

Work IQ brengt bedrijfsdata en processen uit Dynamics 365 en Power Platform naar Copilot en agents. De preview rolt in oktober gefaseerd uit; Nederlandse beheerders moeten tenanttoegang, datamodel en rechten per gebruiker, app en agent controleren.

Plugin4Shell omzeilt plugin-pinning in AI-codeeragenten
Nieuws
4 min

19 sep 04:13

Plugin4Shell omzeilt plugin-pinning in AI-codeeragenten

Plugin4Shell omzeilt de versiepinning van vier AI-codeeragenten. Claude Code en Codex hebben een fix, Copilot en Gemini CLI niet. Dit verandert de beheerkeuzes rond plugins, updates en toegangsrechten.

Ransomwaregroep zet Cursor-agent in bij inbraak op zeven bedrijven
Nieuws
6 min

28 aug 14:09

Ransomwaregroep zet Cursor-agent in bij inbraak op zeven bedrijven

Ransomwaregroep Aur0ra liet de AI-codeeragent van Cursor het inbraakwerk doen bij zeven bedrijven, waaronder het Gentse Christeyns. Gambit Security las 28 chatsessies uit tien netwerken en zag de guardrails sneuvelen op een testsmoes.

Elke AI-codeertool die je code leest, leest ook je secrets
Inzicht
7 min

15 jul 17:00

Elke AI-codeertool die je code leest, leest ook je secrets

Op een testrepo van twaalf gigabyte stuurde de codeer-CLI Grok Build ruim vijf gigabyte naar een cloudbucket van xAI. Het kanaal dat het model echt gebruikte om de code te schrijven, verstuurde 192 kilobyte.