METR meldt op 20 november dat de gemeten tijdhorizon van AI-modellen in de gecombineerde TH1.1- en TH2-taaksets elke 110 dagen verdubbelt, terwijl open onderzoek moeilijker te beoordelen blijft.
Voor Nederlandse teams maakt dat verschil uit bij de keuze welke taken een agent zelfstandig mag afronden. Een codewijziging met een test die direct slaagt of faalt, is anders te beoordelen dan een product- of onderzoeksrichting waarvan de kwaliteit pas maanden later zichtbaar wordt.
De 110 dagen gelden voor twee testsets
Een tijdhorizon is niet het aantal uren dat een model onafgebroken werkt. METR schat ermee hoe lang een menselijke taak duurt die een model met 50 procent kans op de scoregrens afrondt. Voor de gecombineerde testsets TH1.1 en TH2 komt de verdubbeling uit op 3,61 maanden. Het 95%-interval loopt van 2,08 tot 4,94 maanden. Dat ligt dicht bij de 105 dagen die METR eerder voor TH1.1 alleen rapporteerde.
Als dezelfde lijn doorloopt, bereikt de geschatte tijdhorizon volgens een naïeve extrapolatie in juli 2027 de langste scoregrens in de set: 200 uur. Dat is een projectie voor deze tests, geen voorspelling dat een agent dan een werkweek aan willekeurige taken afrondt.

De gecombineerde reeks bevat de oudere, grotendeels verifieerbare TH1.1-taken en de nieuwere TH2-taken. De 110-daagse schatting geldt voor die mix, niet voor alle soorten bedrijfswerk.
Toetsbare code levert het duidelijkste bewijs
METR ziet de sterkste prestaties op programmeer- en optimalisatietaken met een duidelijk doel en snelle feedback. Op de verifieerbare subset van TH2 schat de organisatie de tijdhorizon van publieke topmodellen op maximaal 27 uur. De afzonderlijke verdubbelingstijd komt daar uit op 1,65 maand, maar het 95%-interval is breed: 0,79 tot 3,99 maanden. METR noemt deze schatting ruisgevoelig.
Op drie taken waarvoor METR specialistische menselijke vergelijkingsgroepen kon werven, versloegen publieke modellen de deelnemers. Het team besteedde circa 90.000 dollar aan zeven pogingen om zulke vergelijkingen op te zetten, en schrijft dat de deelnemers mogelijk niet het niveau van onderzoekers bij grote AI-labs haalden. Voor twee andere taakfamilies met grotere groepen deelnemers scoorden modellen hoger dan de meeste mensen, maar lager dan de beste experts.
Een hoge tijdhorizon zegt dus niet dat een model elke programmeur of domeinexpert verslaat. Voor werk dat automatische tests doorloopt, is de uitkomst directer te controleren dan bij een taak zonder vaste slaaggrens.
Open onderzoek mist snelle meetpunten
TH2 bevat ook taken waarbij kwaliteit pas later blijkt of een oplossing naar nieuwe situaties moet generaliseren. Zulke opdrachten hebben geen goedkope controle op succes of voortgang. METR laat daarom mensen of beoordelaars met een vast beoordelingsschema de uitkomst beoordelen.
In één proef moesten modellen een nieuwe evaluatietaak ontwerpen die METR nuttig zou vinden. Geen van de gemaakte taken was bruikbaar genoeg om in de update op te nemen. Op een tweede taak, waarin modellen kritiek op filosofische argumenten beoordelen, verbeterden de scores. Veel modellen kwamen boven de geschatte overeenstemming van experts die vijf minuten per argument besteedden. Alle publieke modellen bleven onder het niveau van experts die er vijftien minuten aan besteedden.
MIT Technology Review meldt dat open taken maar een klein deel van de testset vormen en dat veel menselijke taakduren zijn geschat. Voor de filosofische beoordeling telde bovendien meestal het oordeel van één expert. De uitkomst is daarmee een signaal over enkele onderzoekstaken, geen algemene maat voor hoe goed AI productonderzoek of wetenschappelijke R&D kan overnemen.
De cijfers beantwoorden verschillende vragen
METR gebruikt naast de tijdhorizon ook zijn Capability Index (MCI), die prestaties over afzonderlijke taken samenvat. Daarin ziet de organisatie geen duidelijke versnelling of vertraging bij publieke topmodellen. Veranderingen in de trends van afzonderlijke ontwikkelaars zijn gevoelig voor methodologische keuzes en blijven onzeker.
Een METR-analyse uit juli 2025 bekeek negen benchmarks voor wetenschap, wiskunde, robotica en computergebruik. Die vond over het algemeen vergelijkbare vooruitgang als de toenmalige trend van ongeveer zeven maanden per verdubbeling. De huidige 110 dagen komen uit bijgewerkte TH1.1- en TH2-tests, niet uit een identieke herhaling van alle negen benchmarks.
Anthropic gebruikt weer een andere maat. Het bedrijf meldde dat Claude in augustus 26 procent van zijn AI-R&D-werk op AL4-niveau uitvoerde, waarbij een mens toezicht houdt. De index is opgebouwd uit circa 15.000 interne taken en gewogen naar de tijd die medewerkers eraan besteedden. Anthropic zegt dat zijn Claude-beoordelingsmodel exact overeenkwam met menselijke beoordelingen in 59 procent van de gevallen. Twee menselijke beoordelaars waren het onderling in 35 procent exact eens. De methode meet het aandeel intern werk dat AI leidt, niet de taakduur waarop een benchmark met 50 procent kans slaagt. De uitkomst is daarom niet één op één vergelijkbaar met METR’s tijdhorizon.
Bij evaluaties telt ook de toegang tot bewijs. In de eerdere casus rond METR en Redwood, die zes dagen bij OpenAI werkten zonder eigen systeemtoegang, was de opdracht beperkt tot zeven afgesproken vragen. Die voorwaarden veranderen de huidige benchmark niet, maar bepalen mede wat een onafhankelijke evaluatie kan aantonen.
Voor softwareteams is de trend het bruikbaarst bij taken met controleerbare uitkomsten. Voor productkeuzes, onderzoeksagenda’s en ander werk met vertraagde feedback blijft de meetonzekerheid groter. De 110-daagse lijn beschrijft vooruitgang binnen METR’s gekozen testmix; hoe snel AI zelfstandig goed onderzoek kan doen, blijft een open vraag.
Veelgestelde vragen
Van meetlat naar werkende agent
Ik help je agenten kiezen voor taken die je goed kunt controleren en ontwerp daarna de oplossing van eerste idee tot werkend systeem. Waar dat kan, realiseer ik die self-hosted en automatiseer ik de overdracht naar je team.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
