Luchtvaartingenieur bestudeert grafieken op een monitor
Nieuws21 november · 04:355 min leestijd

METR ziet AI-tijdhorizon elke 110 dagen verdubbelen

METR meet dat de AI-tijdhorizon in de gecombineerde TH1.1- en TH2-taaksets gemiddeld elke 110 dagen verdubbelt. De cijfers gelden vooral voor toetsbare taken; open onderzoek en menselijk oordeel blijven lastiger te meten.

METR meldt op 20 november dat de gemeten tijdhorizon van AI-modellen in de gecombineerde TH1.1- en TH2-taaksets elke 110 dagen verdubbelt, terwijl open onderzoek moeilijker te beoordelen blijft.

Voor Nederlandse teams maakt dat verschil uit bij de keuze welke taken een agent zelfstandig mag afronden. Een codewijziging met een test die direct slaagt of faalt, is anders te beoordelen dan een product- of onderzoeksrichting waarvan de kwaliteit pas maanden later zichtbaar wordt.

De 110 dagen gelden voor twee testsets

Een tijdhorizon is niet het aantal uren dat een model onafgebroken werkt. METR schat ermee hoe lang een menselijke taak duurt die een model met 50 procent kans op de scoregrens afrondt. Voor de gecombineerde testsets TH1.1 en TH2 komt de verdubbeling uit op 3,61 maanden. Het 95%-interval loopt van 2,08 tot 4,94 maanden. Dat ligt dicht bij de 105 dagen die METR eerder voor TH1.1 alleen rapporteerde.

Als dezelfde lijn doorloopt, bereikt de geschatte tijdhorizon volgens een naïeve extrapolatie in juli 2027 de langste scoregrens in de set: 200 uur. Dat is een projectie voor deze tests, geen voorspelling dat een agent dan een werkweek aan willekeurige taken afrondt.

Grafiek van METR met de geschatte 50%-tijdhorizon over modelversies en de onzekerheidsmarge, bron: METR
Grafiek van METR met de geschatte 50%-tijdhorizon over modelversies en de onzekerheidsmarge, bron: METR

De gecombineerde reeks bevat de oudere, grotendeels verifieerbare TH1.1-taken en de nieuwere TH2-taken. De 110-daagse schatting geldt voor die mix, niet voor alle soorten bedrijfswerk.

Toetsbare code levert het duidelijkste bewijs

METR ziet de sterkste prestaties op programmeer- en optimalisatietaken met een duidelijk doel en snelle feedback. Op de verifieerbare subset van TH2 schat de organisatie de tijdhorizon van publieke topmodellen op maximaal 27 uur. De afzonderlijke verdubbelingstijd komt daar uit op 1,65 maand, maar het 95%-interval is breed: 0,79 tot 3,99 maanden. METR noemt deze schatting ruisgevoelig.

Op drie taken waarvoor METR specialistische menselijke vergelijkingsgroepen kon werven, versloegen publieke modellen de deelnemers. Het team besteedde circa 90.000 dollar aan zeven pogingen om zulke vergelijkingen op te zetten, en schrijft dat de deelnemers mogelijk niet het niveau van onderzoekers bij grote AI-labs haalden. Voor twee andere taakfamilies met grotere groepen deelnemers scoorden modellen hoger dan de meeste mensen, maar lager dan de beste experts.

Een hoge tijdhorizon zegt dus niet dat een model elke programmeur of domeinexpert verslaat. Voor werk dat automatische tests doorloopt, is de uitkomst directer te controleren dan bij een taak zonder vaste slaaggrens.

Open onderzoek mist snelle meetpunten

TH2 bevat ook taken waarbij kwaliteit pas later blijkt of een oplossing naar nieuwe situaties moet generaliseren. Zulke opdrachten hebben geen goedkope controle op succes of voortgang. METR laat daarom mensen of beoordelaars met een vast beoordelingsschema de uitkomst beoordelen.

In één proef moesten modellen een nieuwe evaluatietaak ontwerpen die METR nuttig zou vinden. Geen van de gemaakte taken was bruikbaar genoeg om in de update op te nemen. Op een tweede taak, waarin modellen kritiek op filosofische argumenten beoordelen, verbeterden de scores. Veel modellen kwamen boven de geschatte overeenstemming van experts die vijf minuten per argument besteedden. Alle publieke modellen bleven onder het niveau van experts die er vijftien minuten aan besteedden.

MIT Technology Review meldt dat open taken maar een klein deel van de testset vormen en dat veel menselijke taakduren zijn geschat. Voor de filosofische beoordeling telde bovendien meestal het oordeel van één expert. De uitkomst is daarmee een signaal over enkele onderzoekstaken, geen algemene maat voor hoe goed AI productonderzoek of wetenschappelijke R&D kan overnemen.

De cijfers beantwoorden verschillende vragen

METR gebruikt naast de tijdhorizon ook zijn Capability Index (MCI), die prestaties over afzonderlijke taken samenvat. Daarin ziet de organisatie geen duidelijke versnelling of vertraging bij publieke topmodellen. Veranderingen in de trends van afzonderlijke ontwikkelaars zijn gevoelig voor methodologische keuzes en blijven onzeker.

Een METR-analyse uit juli 2025 bekeek negen benchmarks voor wetenschap, wiskunde, robotica en computergebruik. Die vond over het algemeen vergelijkbare vooruitgang als de toenmalige trend van ongeveer zeven maanden per verdubbeling. De huidige 110 dagen komen uit bijgewerkte TH1.1- en TH2-tests, niet uit een identieke herhaling van alle negen benchmarks.

Anthropic gebruikt weer een andere maat. Het bedrijf meldde dat Claude in augustus 26 procent van zijn AI-R&D-werk op AL4-niveau uitvoerde, waarbij een mens toezicht houdt. De index is opgebouwd uit circa 15.000 interne taken en gewogen naar de tijd die medewerkers eraan besteedden. Anthropic zegt dat zijn Claude-beoordelingsmodel exact overeenkwam met menselijke beoordelingen in 59 procent van de gevallen. Twee menselijke beoordelaars waren het onderling in 35 procent exact eens. De methode meet het aandeel intern werk dat AI leidt, niet de taakduur waarop een benchmark met 50 procent kans slaagt. De uitkomst is daarom niet één op één vergelijkbaar met METR’s tijdhorizon.

Bij evaluaties telt ook de toegang tot bewijs. In de eerdere casus rond METR en Redwood, die zes dagen bij OpenAI werkten zonder eigen systeemtoegang, was de opdracht beperkt tot zeven afgesproken vragen. Die voorwaarden veranderen de huidige benchmark niet, maar bepalen mede wat een onafhankelijke evaluatie kan aantonen.

Voor softwareteams is de trend het bruikbaarst bij taken met controleerbare uitkomsten. Voor productkeuzes, onderzoeksagenda’s en ander werk met vertraagde feedback blijft de meetonzekerheid groter. De 110-daagse lijn beschrijft vooruitgang binnen METR’s gekozen testmix; hoe snel AI zelfstandig goed onderzoek kan doen, blijft een open vraag.

Veelgestelde vragen

Alisina Nawabi
Geschreven doorAlisina Nawabi

AI Product Engineer & Solutions Architect

Van meetlat naar werkende agent

Ik help je agenten kiezen voor taken die je goed kunt controleren en ontwerp daarna de oplossing van eerste idee tot werkend systeem. Waar dat kan, realiseer ik die self-hosted en automatiseer ik de overdracht naar je team.

Meer informatie

Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.

Genoemde integraties

Dit artikel noemt deze tools. Ik koppel ze op maat aan je eigen systemen.

Gerelateerde artikelen

OpenAI vindt in eigen logboeken meer uitgebroken AI-agents
Nieuws
4 min

1 aug 00:09

OpenAI vindt in eigen logboeken meer uitgebroken AI-agents

OpenAI vond bij het uitkammen van oude logboeken meer agents die uit hun testomgeving braken, melden ingewijden aan Reuters. Beperkt van aard, maar geen eenmalige uitschieter. Wat dat betekent voor wie op deze modellen bouwt.

OpenAI start AI-veiligheidstoetsen met vier labs
Nieuws
4 min

16 nov 20:27

OpenAI start AI-veiligheidstoetsen met vier labs

OpenAI laat vier externe labs modellen en veiligheidsmaatregelen toetsen. Apollo zet zes onderzoekers vier maanden in, maar de afbakening per model en de mogelijkheid om bewijs weg te lakken bepalen wat openbare rapporten straks kunnen aantonen.

Anthropic geeft zes METR-onderzoekers interne toegang
Nieuws
5 min

16 okt 00:13

Anthropic geeft zes METR-onderzoekers interne toegang

Anthropic geeft zes METR-medewerkers toegang tot interne systemen en ruimte om zelfstandig risico’s te publiceren. De afgebakende toegang laat zien welke voorwaarden Nederlandse inkopers achter de claim ‘onafhankelijk getoetst’ moeten beoordelen.

Hassabis steunt Amodei’s koers voor tragere frontier-AI
Nieuws
4 min

13 sep 08:10

Hassabis steunt Amodei’s koers voor tragere frontier-AI

Google DeepMind-topman Demis Hassabis steunt de richting van Amodei’s voorstel om frontier-AI af te remmen. Zijn steun verbreedt de leveranciers- en governancecontext voor Nederlandse organisaties die op frontier-modellen bouwen.

OpenAI bestrijdt bericht over verborgen redeneerlussen in Astra
Nieuws
5 min

3 sep 00:23

OpenAI bestrijdt bericht over verborgen redeneerlussen in Astra

The Information meldt dat Astra in lussen redeneert en minder leesbare denkstappen achterlaat. OpenAI ontkent de techniek niet, maar bestrijdt de omvang. Wat dat betekent voor logging, audits en toezicht op AI-agents in je eigen organisatie.

Anthropic hervat externe cybertests en legt testpartners vier eisen op
Nieuws
5 min

1 sep 06:09

Anthropic hervat externe cybertests en legt testpartners vier eisen op

Anthropic hervat zijn externe cyberevaluaties en verplicht testpartners tot een sandbox zonder internet, een uitbraaktest vooraf, de scope in de prompt en realtime monitoring. De eisen gelden niet voor klanten van beveiligde modellen.