Stanford vindt 22 van 50 LLM-claims grotendeels vervallen

Stanford-onderzoekers vinden bij 22 van 50 geselecteerde LLM-claims het oorspronkelijke effect grotendeels verdwenen in tests op twintig modellen tot en met 30 september 2026.

Een modelupdate kan de uitkomst van een Nederlandse klantenservice, interne kennisbank of documentcontrole veranderen terwijl de selectie en risicoanalyse nog op de vorige versie rusten. De modelversie hoort daardoor bij de inkoop en vrijgave, naast de benchmarkscore.

De studie gebruikt een grens voor verval

De onderzoekers herhaalden 50 veel geciteerde claims over redeneren, jailbreaks, culturele vooroordelen, instemming met gebruikers en lange contexten. Ze legden dezelfde testopzet aan 20 open- en gesloten modellen voor, afkomstig van acht ontwikkelaars. De modellen verschenen tussen juli 2024 en september 2026. De uitkomsten zijn vastgesteld per 30 september 2026. De studie verscheen op 2 november.

Een claim krijgt een relatieve effectschaal: 1 staat voor de sterkte uit het oorspronkelijke onderzoek en 0 voor het verdwijnen van het effect. De onderzoekers noemen een effect vervallen zodra het hooguit een vijfde van de oorspronkelijke sterkte overhoudt. De berekende trends bij twintig claims bereikten de grens en bleven daar tot de peildatum onder. Twee extra claims kregen het label vervallen omdat een meerderheid van de betrouwbaar gemeten modellen uit de laatste zes maanden onder dezelfde grens zat.

Bij de 22 claims met een geschatte vervaldatum lag de gemiddelde tijd tussen publicatie en verval op 15,7 maanden, met een mediaan van 14,7 maanden. Dit gemiddelde sluit claims zonder geschatte vervaldatum uit. De onderzoekers noemen de onzekerheidsmarges ruim, mede omdat de steekproef uit 50 claims bestaat.

De uitkomst verschilt per model

Van de 50 claims kregen 17 het oordeel verzwakt, acht bleven overeind en drie werden sterker. Vijf van de negen redeneringsclaims waren vervallen. Bij instemming, misleiding en strategisch gedrag waren dat er zes van elf. Drie van de tien claims over taalmodellen als beoordelaar of reviewer bleven overeind of namen toe. Die bevindingen gaan vaker over voorkeuren en oordelen dan over eenvoudige vaardigheidstests.

Ook tussen modellen verschilt het beeld. Het aantal claims in de vervalzone loopt van vijf bij GPT-4o mini uit juli 2024 tot dertig bij GPT-6.1 Sol uit september 2026. Bij modellen die tussen juli en september 2026 verschenen, varieert dat aantal van elf bij DeepSeek V4 Pro tot dertig bij GPT-6.1 Sol. De onderzoekers vinden geen patroon dat de uitkomst laat voorspellen op basis van releasedatum, aanbieder of modelgrootte.

De oorspronkelijke GPT-3.5-studie meldde 55 procent verzonnen citaties. In nieuwere modellen liep het aandeel uiteen van nul procent bij GPT-6.1 Sol en ongeveer één procent bij Claude Sonnet 5.5 tot 69 procent bij Qwen3.7-Flash. Een algemeen oordeel over een modelgeneratie voorspelt dus niet hoe ieder model presteert.

De meetlat kan zelf verschuiven

Modelgedrag en benchmarkinstellingen kunnen allebei de score veranderen. Op 3 november meldde Prime Intellect een audit waarin fouten in taakomschrijvingen, beoordelaars en instellingen voor hulpmiddelen bij drie openbare agentbenchmarks naar voren kwamen. Bij AutomationBench verving het team prozabeschrijvingen van API-aanroepen door JSON-schema’s en versoepelde het onuitgesproken eisen in beoordelaarsregels.

Voor Claude Opus 5.5 @ max rapporteert Prime Intellect na de aanpassingen 92,15 procent met deelpunten en 70,83 procent bij strikt scoren. Met de hulpmiddelen rechtstreeks in Prime Agent komen de scores uit op 92,81 en 73,83 procent. De uitkomsten zijn niet rechtstreeks vergelijkbaar met de Zapier-modus, omdat de aanroepen anders verlopen. De testregels en omgeving bepalen dus mede de score.

Teams hebben versiegebonden bewijs nodig

De Stanford-uitkomsten beschrijven 50 veel geciteerde claims, een afgebakende set binnen het bredere AI-onderzoek. Bij 25 van de 48 numerieke reproducties gebruikten de onderzoekers hetzelfde model als in het oorspronkelijke onderzoek. Voor de andere 23 gebruikten ze een vervanger of benadering. Drieënveertig herhalingen vielen binnen hun tolerantie voor effectgrootte of onzekerheid, vijf vonden een sterker effect. Oudere resultaten hangen daarmee mede af van welke modellen en protocollen nog beschikbaar zijn.

Voor een organisatie is daarom het exacte modelnummer, de datum en de testopzet onderdeel van het bewijs. Als een leverancier een nieuwe versie uitbrengt, verandert de uitkomst die eerder op de oude versie is gemeten niet automatisch mee. Herhaal dezelfde bedrijfsrelevante opdrachten, prompts, gegevens en beoordelingsregels op de kandidaatversie, zodat het verschil zichtbaar wordt voordat de wijziging in productie doorwerkt.

Die versiegebondenheid speelt ook bij openbare veiligheidsrapporten. SemiAnalysis vond een gepubliceerde veiligheidstest bij slechts 31 van 857 Chinese modelreleases, en slechts negen waren beschikbaar bij of vóór de lancering. Zestien andere uitslagen verschenen later, met een mediane vertraging van 42 dagen. De telling laat zien dat ontbrekende publicatie geen bewijs is dat de leverancier intern niet heeft getest. Veiligheidsrapporten toetsen andere eigenschappen dan taakbenchmarks. In beide gevallen blijft de koppeling tussen uitslag en concrete versie nodig.

De Stanford-studie laat zien dat modelgedrag per versie verschilt. De audit van Prime Intellect laat zien dat taakomschrijvingen en beoordelaarsregels de score mee bepalen. Voor organisaties die AI in een bedrijfsproces inzetten, hoort de actuele modelversie daarom bij de testuitslag. De Stanford-conclusie blijft afgebakend tot de 50 geselecteerde claims en de twintig geteste modellen.