Een codeerassistent die een pull request sneller groen krijgt, heeft nog niet bewezen dat het team beter software levert. De beoordeling gebeurt vaak op de plek waar AI het sterkst oogt: de eerste versie van code. De rekening kan pas later zichtbaar worden, in de reviewwachtrij, tijdens de uitrol of bij klanten.
In juni 2026 publiceerde New Relic de resultaten van een door Hanover Research uitgevoerd onderzoek onder 200 Amerikaanse technologiebeslissers op manager-niveau en hoger. In die antwoorden beoordeelde 94 procent AI-code bij review hoger dan door mensen geschreven code, terwijl 78 procent meer productie-incidenten na uitrol van AI-code rapporteerde. De 200 respondenten van wie 94 procent AI-code hoger waardeerde en 78 procent meer incidenten meldde vormen een interessant waarschuwingssignaal, geen bewijs dat AI-code de incidenten veroorzaakte. Het zijn zelfgerapporteerde antwoorden uit een onderzoek voor een leverancier van observabilitysoftware, geen onafhankelijke telling van gekoppelde wijzigingen en incidenten.
Mijn stelling is eenvoudig: een AI-codeerassistent telt pas als productiviteitswinst wanneer het team over meerdere releases meer betrouwbare wijzigingen bij gebruikers krijgt, zonder dat review, herstel en incidenten de bespaarde tijd weer opeten. De meetlat hoort daarom bij het team en de software in productie, niet bij de hoeveelheid tekst die een assistent heeft gemaakt.
Een review is nog geen uitkomst
Een code-review beantwoordt belangrijke vragen. Klopt de wijziging met de opdracht, zijn de patronen herkenbaar en slagen de tests? Zelfs een grondige review ziet maar een deel van wat er gebeurt wanneer echte gebruikers, echte gegevens en echte afhankelijkheden samenkomen. Een nette diff zegt niet vanzelf of een betaling goed wordt verwerkt, een scherm vlot blijft of een onverwachte toestand veilig wordt afgehandeld.
DORA beschrijft AI als een versterker van de bestaande sterktes en zwaktes van een organisatie. Dat is een nuttiger uitgangspunt dan de belofte dat dezelfde assistent ieder team op dezelfde manier sneller maakt. Een team met kleine wijzigingen, betrouwbare tests en bruikbare interne documentatie kan de snelle eerste versie omzetten in een veilige uitrol. Een team met broze koppelingen of weinig reviewruimte kan vooral sneller werk richting dezelfde smalle controlepoort sturen.
Er is inmiddels een concreet voorbeeld van hoe productiegedrag naast een codewijziging kan komen te staan. New Relic Change Tracking voor GitHub Copilot vergelijkt servicemetrics van vóór een uitrol met metingen na 10 minuten, 30 minuten, 1 uur, 2 uur, 24 uur en 72 uur. De documentatie van New Relic beschrijft deze zes meetmomenten tot drie dagen na de deployment, en markeert de functie als openbare preview. De koppeling tussen Copilot-deployments en productieprestaties maakt zichtbaar dat de beoordeling niet bij de pull request hoeft te stoppen.
Dat is nuttige observatie, maar nog geen oordeel over de waarde van de assistent. Een meetpunt na 72 uur kan een vroege regressie laten zien. Het zegt niet of een fout pas na een factuurcyclus verschijnt, of een klantproces over een maand vaker vastloopt, of het team na tien releases netto meer werk afkrijgt. Productiemonitoring is de noodzakelijke brug tussen code en gedrag. Het is niet de volledige businesscase.
De snelle eerste versie heeft een staart
In een analyse van maart 2026 beschrijft DORA op basis van gesprekken met ontwikkelaars een verborgen controlelast: tijd die bij het schrijven wordt gewonnen, kan terugkomen als extra controle, uitleg aan de assistent en zwaardere review. Een grotere wijzigingsset kost de reviewer meer aandacht, en het laatste stuk naar productie vraagt vaak nauwkeurige aansluiting op interne systemen. DORA beschrijft hoe verificatie en productie-integratie de lokale tijdwinst kunnen opsouperen. Dat is kwalitatief onderzoek en geen universele wet, maar het benoemt een kostenpost die een meting van alleen schrijftijd weglaat.
De assistent draagt de code aan, maar het team blijft verantwoordelijk voor de uitkomst. Iemand controleert of de wijziging past bij bedrijfsregels, datamodellen, rechten en bestaande koppelingen. Een reviewer zoekt soms langer naar wat er veranderde dan de auteur nodig had om het te laten genereren. Als een incident volgt, besteden engineers tijd aan triage, herstel, communicatie en het voorkomen van herhaling. Al dat werk hoort bij dezelfde leveringsketen.
Daarom gaat de vraag niet alleen over hoeveel minuten de auteur wint. De vraag is of de hele groep minder tijd kwijt is aan een bruikbare wijziging die de productiegrens haalt. Een productteam kan bijvoorbeeld een aanpassing in het afrekenen snel laten maken, maar alsnog handmatig controleren hoe kortingsregels samengaan met terugbetalingen en dubbele betaalpogingen. Als die extra controle nodig blijft, is de eerste versie sneller. De verandering als geheel hoeft dat niet te zijn.
De tests, canary en herstelmaatregelen voor één AI-geschreven wijziging bepalen hoe je voorkomt dat een onveilige wijziging onbeschermd door de releasepoort komt. Mijn vraag hier is breder en volgt daarop: levert die poort over een reeks releases aantoonbaar meer betrouwbare productwijzigingen op? De gids beantwoordt hoe je één wijziging gecontroleerd vrijgeeft. Een team-baseline moet laten zien wat er na herhaling met de leveringscapaciteit gebeurt.
Waarde is netto productiewerk
De productiewaarde van een AI-codeerassistent is de hoeveelheid bruikbare verandering die een team bij gebruikers krijgt, nadat review, correcties, incidenten en herstel zijn meegeteld. Een hogere codeproductie is alleen winst wanneer de software stabiel blijft en een gekozen gebruikers- of bedrijfsuitkomst verbetert. Zonder die tweede helft meet je activiteit, geen waarde.
Een bruikbare beoordeling kijkt daarom naar drie samenhangende uitkomsten. Geen enkele teller kan de andere vervangen:
- Betrouwbare levering: hoeveel wijzigingen bereiken productie en blijven binnen de afgesproken kwaliteits- en betrouwbaarheidsgrenzen? Koppel dat aan hersteltijd en de ernst van storingen, niet alleen aan het aantal deployments.
- Totale werklast: hoeveel tijd gaat naar schrijven, review, testen, correcties, terugdraaien en incidentafhandeling? Bereken zo nodig de kosten per geaccepteerde productiewijziging, inclusief de tijd van reviewers.
- Gebruikersresultaat: verandert de maat die voor deze software telt, zoals geslaagde bestellingen, afgeronde aanmeldingen, minder supportvragen of een kortere wachttijd? Kies een uitkomst die past bij het doel van de wijziging.
Neem het afrekenproces als voorbeeld. Meer samengevoegde pull requests is geen succes als meer bestellingen halverwege stranden of medewerkers vaker terugbetalingen moeten uitzoeken. Als na invoering van de assistent hetzelfde team meer aanpassingen veilig uitbrengt, de review- en hersteluren niet meegroeien en de afronding voor klanten minstens gelijk blijft, dan ontstaat een geloofwaardig signaal van waarde. Als alleen de hoeveelheid code stijgt, weet je nog niet of er meer klantwaarde is geleverd.
Mijn voorkeur is om die uitkomsten per team en per soort werk te bekijken. Een verbetering aan een betaalstroom is niet goed te vergelijken met een interne beheermodule. Een gemiddeld incidentcijfer over beide kan een probleem verstoppen, net zoals een gemiddelde doorlooptijd kan verhullen dat één risicovolle wijziging veel herstel vraagt. Een scorecard voor productie-agents die uitzonderingen, vrijgavetijd en herstel per taaktype uit elkaar houdt laat hetzelfde meetprincipe zien: kies de eenheid die bij het werk past.
In juni 2026 waarschuwde DORA ook voor het verwarren van meetbare activiteit met productiviteit. Tokens en regels code beschrijven invoer of gegenereerde hoeveelheid, niet of het team betere software levert. Zulke cijfers kunnen helpen om adoptie of modelkosten te begrijpen. Als je ze tot prestatiedoel maakt, beloon je mogelijk meer verbruik of grotere codewijzigingen in plaats van een betere uitkomst. Meet ze als context, niet als eindscore.
Een nulmeting voorkomt een mooi verhaal
Een team heeft een vergelijking nodig die al bestond voordat de assistent werd ingevoerd. Anders kan iedere verbetering achteraf aan de tool worden toegeschreven, ook als de echte oorzaak kleinere releases, een nieuwe teststraat, een ander teamlid of rustiger klantverkeer was. De nulmeting moet dezelfde software en vergelijkbaar werk beschrijven, met definities die tijdens de evaluatie niet verschuiven.
Meerdere releases zijn nodig omdat één succesvolle uitrol weinig zegt over een werkwijze. Leg vast welke wijzigingen daadwerkelijk met AI-hulp zijn gemaakt, maar maak van de ontwikkelaar geen scorebord. Noteer ook met welke toegang de tool werkte, want OS-sandboxing en beperkte permissies veranderen welke commando’s een codeeragent kan uitvoeren. Houd die instelling gelijk of neem haar mee als context. Groepeer de uitkomsten op team, type wijziging en periode. Kijk vervolgens of betrouwbare levering, herstelwerk en de gekozen klantuitkomst dezelfde kant op bewegen. Als één teller beter wordt en twee andere slechter, is dat geen eenduidige winst.
Ook de tijdshorizon hoort bij het risico. New Relics zes meetpunten bestrijken de eerste 72 uur, wat waardevol is voor directe service-regressies. Een administratieve fout kan later opvallen wanneer een periodieke taak loopt. Een fout in een checkout kan direct zichtbaar zijn in transacties. Je meetperiode moet dus passen bij de werking van de software en de gebruikersuitkomst, en niet alleen bij de beschikbaarheid van een dashboard.
Een vergelijking vóór en na blijft een vergelijking, geen experiment. Zelfs als incidenten toenemen nadat meer AI-code is ingevoerd, bewijst de volgorde niet dat de assistent de oorzaak was. Het werk kan moeilijker zijn geworden, meer verkeer hebben gekregen of tegelijk met andere veranderingen zijn uitgerold. New Relics enquête legt gerapporteerde meningen en ervaringen naast elkaar; die cijfers tonen geen oorzakelijk verband. DORA formuleert eigen surveybevindingen eveneens als samenhang. Ik zou zo’n signaal gebruiken om verder te meten, niet om een leverancier of team een causaal oordeel toe te schrijven.
Om eerlijk te zijn
Een engineering lead kan terecht tegenwerpen dat deze lat de winst te laat erkent. Een assistent helpt een ontwikkelaar beginnen aan een lege pagina, onbekende code begrijpen en repetitieve stukken sneller afronden. Dat zijn echte voordelen, ook als ze niet meteen in omzet of incidentcijfers zichtbaar zijn. Een verplichte omzetclaim per wijziging zou onderhoud, technische schuld en interne hulpmiddelen onterecht als mislukking bestempelen. Wie op perfecte causaliteit wacht, leert mogelijk pas wanneer andere teams al verder zijn.
Dat tegenargument is terecht. Ik zou daarom tijdwinst en gebruikerstevredenheid niet negeren, maar ze benoemen als tussentijdse signalen. DORA erkent dat AI lokaal de snelheid en het gemak kan verbeteren, terwijl de totale softwarelevering afhankelijk blijft van controle en integratie. Het onderscheid beschermt de discussie tegen overdreven claims: een prettiger schrijfervaring is waardevol, maar bewijst op zichzelf niet dat de organisatie meer betrouwbare software levert.
Dezelfde nuance geldt voor de New Relic-enquête. Een verschil tussen wat managers bij review zien en wat zij na uitrol rapporteren verdient aandacht. Het is geen gecontroleerd onderzoek dat bewijst dat AI-code incidenten veroorzaakt. Een leider die de uitkomsten eerlijk presenteert, kan zeggen dat de antwoorden een meetgat aanwijzen: de reviewervaring en het productiegedrag worden niet automatisch samen gevolgd. Daarna kan het eigen team dat gat invullen met gegevens over releases, herstel en klanten.
De uitkomst hoort bij het team
Een codeerassistent moet niet winnen omdat hij meer regels produceert, meer tokens verbruikt of een review eerder afrondt. Hij moet winnen wanneer het team over meerdere releases aantoonbaar meer betrouwbare veranderingen kan leveren, de totale correctie- en incidentlast beheersbaar blijft en gebruikers merken dat het product beter werkt. Dat is een hogere lat dan een snelle pull request, maar het is ook de uitkomst waarvoor software wordt gebouwd.
Een groene review is een begin van bewijs. De echte maat verschijnt pas wanneer de wijziging de productie bereikt, standhoudt in het werkelijke gebruik en het team nog ruimte heeft om de volgende verbetering te maken.
Veelgestelde vragen
Meet AI op echte waarde
Ik denk met je mee over wat je team wil verbeteren, ontwerp de meetketen rond software-uitrollen en realiseer de software die productie- en gebruikersuitkomsten bij elkaar brengt.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
