Alisina NawabiAI-agenten ronden in de tests PhysicianBench en HealthAdminBench minder dan de helft van klinische en administratieve opdrachten af, blijkt uit een analyse die Stanford HAI op 19 oktober publiceerde.
De tests laten Nederlandse zorgorganisaties zien hoe leveranciers werkstromen afronden: patiëntgegevens ophalen, een aanvraag indienen en de uitkomst vastleggen. Zo wordt zichtbaar of de agent de benodigde stappen ook in de systemen uitvoert.
Een opdracht loopt door meerdere systemen
PhysicianBench laat AI-agenten 100 opdrachten uitvoeren die zijn gebaseerd op consulten tussen huisartsen en medisch specialisten. De opdrachten bestrijken 21 specialismen. Per taak moet de agent gemiddeld 27 keer een softwaretool gebruiken om informatie uit eerdere consulten op te halen en mee te wegen. Daarna voert de agent handelingen uit en legt de uitkomst vast in het dossier.
Artsen beoordeelden de opdrachten onafhankelijk. De evaluatie gebruikt 670 meetpunten voor tussenstappen en resultaat. GPT-5.5 voltooide in één poging 46 procent van de opdrachten. Slechts 28 procent van de taken lukte in alle drie runs. De controles verifiëren na iedere opdracht of de vereiste veranderingen in de EPD-omgeving zijn uitgevoerd.
HealthAdminBench laat AI-agenten werken in vier nagebouwde omgevingen: een EPD, twee portalen van zorgverzekeraars en een faxsysteem. Het bevat 135 opdrachten over voorafgaande toestemming, bezwaren, afgewezen declaraties en hulpmiddelenaanvragen. Elke opdracht vraagt meerdere controlepunten.
De 1.698 controles bestaan uit 1.177 automatische checks en 521 beoordelingen door een taalmodel. Claude Opus 4.6 voltooide met zijn computergebruikshulpmiddel 36,3 procent van de volledige opdrachten. GPT-5.4 haalde 82,8 procent op losse subtaken en 26,7 procent op volledige taken. HealthAdminBench telt een opdracht pas als geslaagd wanneer alle vereiste subtaken zijn uitgevoerd.
Een goed deelresultaat zegt weinig over afronding
Het verschil tussen scores op deeltaken en hele opdrachten heeft gevolgen voor de beoordeling van AI-agenten. Bij HealthAdminBench telt een opdracht pas als voltooid wanneer alle vereiste subtaken slagen. Een correct ingevuld formulier dat niet wordt verzonden, is geen afgeronde aanvraag.
Dat patroon komt ook terug in PhysicianBench. Bij 62 procent van GPT-5.5's uitvoeringsfouten stond de juiste actie in de notitie. De bijbehorende order was niet in het EPD geplaatst. Bij Claude Opus 4.6 ging het om 73 procent van de uitvoeringsfouten.
Stanford HAI zegt dat de twee totaalscores niet rechtstreeks vergelijkbaar zijn doordat de benchmarks andere omgevingen, modelsets, interfaces en beoordelingsmethoden gebruiken. In beide tests voltooide de best scorende AI-agent minder dan de helft van de volledige opdrachten. De dominante fouten ontstonden wanneer AI-agenten informatie tussen stappen en systemen niet vasthielden.
De benchmarks bouwen voort op eerdere EPD-tests
Stanford ontwikkelde eerst MedHELM, een kaart van medische AI-taken met vijf categorieën, 22 subcategorieën en 121 taken. De categorieën lopen van klinische besluitvorming en notities tot patiëntcommunicatie, onderzoek en administratie. De afbeelding toont hoe die taakgebieden zijn uitgewerkt.
MedAgentBench bevatte 300 patiëntspecifieke opdrachten uit tien categorieën; Claude 3.5 Sonnet v2 voltooide 69,67 procent in die test. PhysicianBench gebruikt minder, langere opdrachten en controleert de uiteindelijke EPD-status. De cijfers zijn daardoor niet op gelijke taakzwaarte gebaseerd.
Ook in Nederland ontstaat een eigen toetsingslijn. ZonMw meldt dat het RIGH:T-raamwerk start in de medisch-specialistische zorg, daarna uitbreidt naar eerste lijn, VVT en GGZ en geen administratieve lastenverlichting als uitkomstmaat heeft. Dat sluit aan op Nederlandse ziekenhuizen die een eigen toetsingsraamwerk voor AI-notulisten ontwikkelen.
Een andere maatstaf is tijdwinst bij één taak. UnitedHealth meldde 33 procent minder dossiercontroletijd bij meer dan 40 procent van de eigen clinici die AI-samenvattingen gebruiken; de 33-procentclaim betreft AI-samenvattingen en dossiercontrole. Dat cijfer meet een ander resultaat dan de Stanford-tests: niet de afronding van een volledige workflow, maar de tijd voor één taak.
De tests meten geen Nederlandse zorgpraktijk
De scores geven weer hoe de geteste modellen in deze opstellingen presteerden. PhysicianBench gebruikt patiëntgegevens die zijn afgeleid van echte, geanonimiseerde dossiers en daarna zijn aangepast. HealthAdminBench gebruikt synthetische patiënten en nagebouwde portalen. De onderzoekers laten onder meer toegangsbeperkingen zoals multifactorauthenticatie, sessieverloop en CAPTCHA buiten de test. De resultaten meten daarmee uitvoering in gecontroleerde omgevingen. Ze voorspellen geen aantallen voor een Nederlands ziekenhuis of verzekeraarsysteem. Ook zeggen ze niets over patiëntuitkomsten.
Beide benchmarks beoordelen de uitkomst aan het einde van de keten. Een antwoord kan klinisch passend zijn terwijl het dossier ongewijzigd blijft. De tests leveren nog geen resultaten voor herhaalde toetsing van lokale workflows, met controle op gegevensoverdracht, uitgevoerde handelingen en fouten die een medewerker moet herstellen.
De uitval zit vooral bij informatieoverdracht tussen systemen en bij het uitvoeren van de laatste handeling. De scores beschrijven de gebruikte modellen en gecontroleerde omgevingen. De papers rapporteren nog geen vergelijkbare resultaten uit Nederlandse zorgsystemen.
Veelgestelde vragen
Van AI-test naar werkproces
Ik vertaal je proces naar een werkende AI-agent: eerst meedenken en ontwerpen, daarna bouwen en automatiseren. Waar het kan, zet ik de oplossing self-hosted op, zodat jij grip houdt op je data.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
