Alisina NawabiMAI-DxO met GPT-5 behaalt volgens Microsoft 83,2 procent op complexe NEJM-casussen, tegenover 36,1 procent voor artsen met naslagwerk, in een vandaag in Science verschenen studie.
Zorgorganisaties en medtechbedrijven krijgen daarmee een nieuwe toets voor diagnose-AI: het systeem moet niet alleen een antwoord geven, maar ook vragen kiezen, tests aanvragen en de kosten van dat onderzoek meewegen. De uitslag biedt een nieuw vergelijkingspunt voor ontwikkeling en inkoop, maar zegt nog niet hoe zo’n systeem presteert tussen Nederlandse patiëntendossiers, zorgteams en behandelbesluiten.
De test meet het hele diagnosepad
SDBench vertaalt 304 casusbesprekingen uit het New England Journal of Medicine en 325 spoedopnames uit MIMIC-IV-ED naar interactieve teksttests. Vanuit een korte patiëntbeschrijving kiest het systeem welke vragen en tests volgen, waarna het een diagnose vastlegt. De benchmark meet diagnostische juistheid en geschatte onderzoekskosten.
MAI-DxO, in het artikel kort DxO genoemd, coördineert AI-rollen die diagnoses voorstellen en elkaars aannames toetsen. DxO met GPT-5 scoorde op NEJM 83,2 procent bij gemiddeld $5.431 aan tests per casus. Met budgetlimieten: 80,9 procent bij $2.241 en 79,6 procent bij $1.303. De hoogste score was 84,5 procent bij $8.945.
De artsen haalden gemiddeld 36,1 procent met naslagwerk en 22,3 zonder. Hun geschatte testkosten waren $4.725 en $3.049. De artsenproef gebruikte 56 casussen die tijdens de ontwikkeling apart waren gehouden. In de gerapporteerde gemiddelden kostte de configuratie die 83,2 procent haalde meer dan de artsenproef met naslagwerk; goedkopere AI-varianten kwamen lager uit in nauwkeurigheid.
Op 325 spoedzorgcasussen scoorde DxO 80,3 procent tegenover 46,8 bij artsen. De onbegrensde variant kostte $4.979 per casus, tegen $3.400 voor artsen. Een budgetvariant haalde 73,2 procent bij $2.634. Dit zijn geschatte Amerikaanse testkosten, geen Nederlandse tarieven of totale behandelkosten.
Science voegt spoedzorg toe aan de benchmark
Microsoft presenteerde MAI-DxO op 30 juni 2025 als preprint. De toenmalige beste opstelling, met OpenAI’s o3-model, haalde volgens die eerste Microsoft-benchmark 85,5 procent op de NEJM-casussen; de gemiddelde score van 21 artsen uit de VS en het VK was toen 20 procent. Science publiceert het werk nu na beoordeling door vakgenoten en voegt de spoedzorgtest met MIMIC-IV-ED toe. Voor publicatie herhaalde Microsoft de volledige evaluatie ook met GPT-5.5, zonder de prompts of orkestratie aan te passen. De 83,2 procent is geen rechtstreekse daling vanaf 85,5: de eerdere uitkomst gebruikte o3, de nieuwe GPT-5.
Microsoft stelt SDBench met geselecteerde NEJM-casussen open, inclusief de code voor de benchmark en de beoordelaars. De softwarecode valt onder de MIT-licentie, maar de casusgegevens zelf zijn niet vrij te gebruiken voor elk commercieel doel. NEJM-casussen zijn beschikbaar onder een licentie voor niet-commercieel onderzoek; voor de MIMIC-gegevens gelden toegangsvoorwaarden en een gegevensgebruiksovereenkomst.
De score stopt bij de diagnose
De publicatie noemt de vergelijkingsgroep generalistische artsen: de 36,1 procent is hun gemiddelde met naslagwerk. De deelnemers kwamen uit huisartsenzorg, interne geneeskunde en acute zorg. Het gaat om individuele artsen, niet om specialistenteams of artsen die per casus zijn gematcht. De auteurs zeggen uitdrukkelijk dat de resultaten geen superioriteit aantonen boven specialisten, multidisciplinaire teams of de klinische praktijk. De casussen komen uit geselecteerde NEJM-besprekingen en spoedopnames. Ze worden aangeboden als tekst, via een digitale poortwachter die gevraagde informatie uit het dossier teruggeeft. Ontbrekende gegevens kunnen worden aangevuld met neutrale, synthetische antwoorden.
De test beoordeelt of de einddiagnose aansluit op de referentiediagnose. Hij meet niet of behandeling passend is, of een patiënt veilig wordt opgevolgd, of de conclusie standhoudt wanneer het dossier onvolledig is en nieuwe informatie binnenkomt. Ook ontbreken beelden zoals scans en pathologie. De geschatte testkosten komen uit Amerikaanse ziekenhuisprijzen. Alle auteurs zijn Microsoft-medewerkers en houden aandelen in het bedrijf, zoals de publicatie vermeldt.
Dat is een andere meetlat dan Stanford HAI’s agenttests: daar voltooide GPT-5.5 in één poging 46 procent van EPD-taken en Claude Opus 4.6 36,3 procent van administratieve workflows, terwijl een taak pas telt wanneer alle vereiste stappen zijn afgerond. Die uitkomsten zijn niet onderling vergelijkbaar: Microsoft meet diagnostische nauwkeurigheid en Stanford het afronden van meerstapswerk.
De stap naar patiënten staat nog open
Microsoft kondigt een prospectief onderzoek aan met Beth Israel Deaconess Medical Center in Boston. Patiënten moeten daarin rechtstreeks met het systeem werken, waarna de uitkomsten naast onafhankelijke beoordelingen door artsen worden gelegd. TechCrunch meldt op basis van een gesprek met Microsoft AI-topman Mustafa Suleyman dat deelnemende patiënten daarnaast de gebruikelijke zorg krijgen, van triage tot een besluit over ontslag.
Bij hetzelfde ziekenhuis vond al een begeleide studie met Googles AMIE plaats. Google meldt dat 98 patiënten de onderzoeksassistent voorafgaand aan een urgent bezoek gebruikten en clinici de samenvattingen in 75 procent van de gevallen nuttig vonden voor de voorbereiding. De precieze betekenis van het vaak aangehaalde diagnosecijfer staat in de zeven mogelijke diagnoses waarin AMIE het juiste antwoord in 90 procent van de gevallen opnam, maar slechts in 56 procent bovenaan zette. Dat onderzoek betrof patiëntgesprekken; de Microsoft-benchmark blijft vooralsnog een simulatie.
SDBench geeft Nederlandse zorgorganisaties een onderzoeksmaatstaf voor het stellen van vragen en kiezen van tests. De percentages voorspellen geen uitkomst in Nederlandse dossiers of behandelprocessen. Microsoft noemt geen datum voor de BIDMC-studie. De aankondiging betreft een benchmark en een geplande patiëntstudie, geen bredere productintroductie; de studie moet uitwijzen of de uitkomst uit de simulatie overeind blijft in de klinische praktijk.
Veelgestelde vragen
Van test naar werkende AI
Ik denk mee over waar een diagnostische AI-oplossing past, ontwerp en realiseer het systeem en automatiseer de bijbehorende stappen. Ik bouw het hele traject, self-hosted waar dat kan.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
