Helft bedrijven zag geteste AI-agent tóch klanten raken

De helft van de bedrijven zag het afgelopen jaar een AI-agent die alle interne tests doorstond, tóch een storing bij klanten veroorzaken. Dat blijkt uit een enquête die VentureBeat in juni hield onder 157 bedrijven met meer dan honderd medewerkers.

Het cijfer legt een gat bloot tussen hoe snel bedrijven agents zelfstandig laten handelen en hoe goed ze kunnen controleren of dat veilig is. Voor een Nederlandse organisatie die een agent klantcontact, offertes of bestellingen laat afhandelen, betekent het dat een groene testuitslag weinig garandeert: de fout komt pas boven water bij een echte klant, met echte schade. En juist die controlelaag blijft achter terwijl de autonomie toeneemt.

Test geslaagd, klant de dupe

Van de ondervraagde bedrijven bracht 50 procent minstens één keer een agent of AI-functie live die de interne evaluatie doorstond en daarna alsnog een klantgerichte storing veroorzaakte. Een op de vier maakte dat meer dan eens mee. Het gaat dus niet om een incidentele uitschieter, maar om een patroon dat de helft van de markt herkent.

Tegelijk vertrouwt maar 5 procent van de bedrijven de geautomatiseerde evaluaties waarop ze hun vrijgavebesluiten baseren volledig. De test die het groene licht geeft, wordt door de bedrijven zelf dus nauwelijks geloofd.

De rem gaat eraf terwijl het zicht slechter wordt

Toch neemt de menselijke controle niet toe, maar af. 66 procent van de bedrijven staat inmiddels toe dat een agent zonder menselijke review in productie gaat, of is van plan dat binnen twaalf maanden te doen. De autonomie groeit sneller dan de verificatielaag die de missers moet onderscheppen. Precies die kloof noemt het onderzoek de evaluatie-kloof.

De onderzoekers wijzen naar herhaalbaarheid

De oplossing ligt volgens het rapport niet in nóg een eenmalige test, maar in herhaalbaarheid. Draai een scenario meerdere keren met wisselende context, test wat er gebeurt als een tool uitvalt, en kijk of de zakelijke uitkomst steeds dezelfde is. Maak van elke storing in productie een vaste regressietest, zodat dezelfde fout niet twee keer door de mazen glipt. Het rapport verwijst daarvoor naar het NIST-profiel voor generatieve AI als kader.

Dat sluit aan op eerder onderzoek waarin bedrijven AI-agents wel met code vertrouwen, maar niet met hun live productiesystemen: het gemiddelde vertrouwen bleef daar steken op 64 van de 100, en het laagst scoorden juist ingrepen in draaiende infrastructuur. Die grip regel je vooraf: de afspraken over mandaat, escalatie, logging en een kill-switch leg je vast voordat de agent de productie in gaat.

Waar dit heen wijst

De kern van de enquête is niet dat agents onbetrouwbaar zijn, maar dat de meetlat achterloopt op de autonomie. Zolang een geslaagde test en een tevreden klant twee verschillende dingen zijn, verschuift het echte werk van het bouwen van een agent naar het bewijzen dat hij doet wat hij belooft, elke keer opnieuw. Bedrijven die dat bewijs vooraf organiseren, kunnen autonomie stap voor stap opschalen. De rest ontdekt de grens pas op het moment dat een klant hem raakt.