Stanford-onderzoekers

find five replications with a stronger effect

“vijf vonden een sterker effect.”

find 43 replications within their tolerance for effect size or uncertainty

“Drieënveertig herhalingen vielen binnen hun tolerantie voor effectgrootte of onzekerheid”

use a substitute or approximation in the other 23 numerical reproductions

“Voor de andere 23 gebruikten ze een vervanger of benadering.”

use the same model as the original study in 25 of 48 numerical reproductions

“Bij 25 van de 48 numerieke reproducties gebruikten de onderzoekers hetzelfde model als in het oorspronkelijke onderzoek.”

find no pattern predicting the outcome from release date, provider, or model size

“De onderzoekers vinden geen patroon dat de uitkomst laat voorspellen op basis van releasedatum, aanbieder of modelgrootte.”

find three of ten claims about language models as judges or reviewers remained or increased

“Drie van de tien claims over taalmodellen als beoordelaar of reviewer bleven overeind of namen toe.”

find six of eleven claims about agreement, deception, and strategic behavior expired

“Bij instemming, misleiding en strategisch gedrag waren dat er zes van elf.”

find five of nine reasoning claims expired

“Vijf van de negen redeneringsclaims waren vervallen.”

classify 17 claims as weakened, eight as sustained, and three as strengthened

“Van de 50 claims kregen 17 het oordeel verzwakt, acht bleven overeind en drie werden sterker.”

note the uncertainty margins are wide, partly because the sample contains 50 claims

“De onderzoekers noemen de onzekerheidsmarges ruim, mede omdat de steekproef uit 50 claims bestaat.”

estimate a median 14.7 months between publication and decay among the 22 claims with an estimated decay date

“Bij de 22 claims met een geschatte vervaldatum lag de gemiddelde tijd tussen publicatie en verval op 15,7 maanden, met een mediaan van 14,7 maanden.”

estimate an average 15.7 months between publication and decay among the 22 claims with an estimated decay date

“Bij de 22 claims met een geschatte vervaldatum lag de gemiddelde tijd tussen publicatie en verval op 15,7 maanden”

find 20 claims whose calculated trends reached the decay threshold and remained below it through the cutoff

“De berekende trends bij twintig claims bereikten de grens en bleven daar tot de peildatum onder.”

define an effect as expired when it retains at most one fifth of its original strength

“De onderzoekers noemen een effect vervallen zodra het hooguit een vijfde van de oorspronkelijke sterkte overhoudt.”

test 20 open and closed models from eight developers

“Ze legden dezelfde testopzet aan 20 open- en gesloten modellen voor, afkomstig van acht ontwikkelaars.”

repeat 50 frequently cited claims about reasoning, jailbreaks, cultural biases, agreement with users, and long contexts

“De onderzoekers herhaalden 50 veel geciteerde claims over redeneren, jailbreaks, culturele vooroordelen, instemming met gebruikers en lange contexten.”

set the results cutoff at 30 September 2026

“De uitkomsten zijn vastgesteld per 30 september 2026.”

find the original effect has largely disappeared for 22 of 50 selected LLM claims in tests on 20 models

“Stanford-onderzoekers vinden bij 22 van 50 geselecteerde LLM-claims het oorspronkelijke effect grotendeels verdwenen”

label two additional claims expired because a majority of reliably measured models from the last six months fell below the threshold

“Twee extra claims kregen het label vervallen omdat een meerderheid van de betrouwbaar gemeten modellen uit de laatste zes maanden onder dezelfde grens zat.”