stelde dat de capaciteit elke 40 tot 50 dagen verdubbelt bij ruime budgetten, tegen 67 tot 91 dagen bij krappe
“de capaciteit verdubbelt dan elke 40 tot 50 dagen, tegen de 67 tot 91 dagen die je met een strak plafond zou afleiden”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
stelde dat de vooruitgang aan de frontlinie 60 procent steiler oogt bij ruime rekenbudgetten
“Bij ruime rekenbudgetten oogt de vooruitgang aan de frontlinie ongeveer 60 procent steiler dan bij krappe budgetten”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
stelde vast dat de tijdshorizon van het koploper-model groeide van 2 uur naar 14 uur bij 50 miljoen tokens
“Bij het huidige koploper-model liep dat op van ongeveer twee uur naar veertien uur.”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
stelde vast dat de tijdshorizon van een getest model groeide van 40 minuten bij 2,5 miljoen tokens naar 4 uur bij 50 miljoen tokens
“Bij een van de geteste modellen groeide de tijdshorizon van ongeveer 40 minuten bij 2,5 miljoen tokens naar zo'n 4 uur bij vijftig miljoen tokens.”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
vond een machtsverband tussen menselijke taaktijd en tokenverbruik over 211 software-engineeringtaken en 78 cyber CTF-taken
“vonden de onderzoekers een machtsverband tussen hoe lang een mens over een klus doet en hoeveel tokens een agent nodig heeft”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
rapporteerde dat bij cyberveiligheid ongeveer 8 procent van de taken pas werd opgelost boven 10 miljoen tokens
“bij cyberveiligheid werd ongeveer 8 procent van de taken pas opgelost boven de tien miljoen tokens”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
rapporteerde dat op wiskundige en academische taken het slagingspercentage met ongeveer 22 procent steeg bij een tokenbudget tot 5 miljoen
“Op wiskundige en academische taken leverde meer budget tot vijf miljoen tokens zo'n 22 procent extra op.”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
rapporteerde dat op software-engineeringtaken het slagingspercentage met ongeveer 25 procent steeg toen het tokenbudget van 1 miljoen naar 10 miljoen ging
“Op software-engineeringtaken steeg het slagingspercentage met ongeveer 25 procent toen het tokenbudget per taak van een miljoen naar tien miljoen ging.”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
concludeerde dat evaluaties met een vast budget de capaciteit van moderne AI-agents structureel te laag inschatten
“de kernconclusie is dat evaluaties met een vast budget de capaciteit van moderne AI-agents structureel te laag inschatten”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
testte zeven benchmarks in vijf domeinen
“testte zeven benchmarks in vijf domeinen”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
is de evaluatie-instantie van de Britse overheid
“de evaluatie-instantie van de Britse overheid”AI-agents scoren laag op je test? Vaak zit het aan het tokenplafond, niet aan het model
Onderwerpen die vaak samen met AI Security Institute voorkomen, ook zonder een vastgelegd verband. Open de gedeelde verhalen voor de context.
OpenAI
The Decoder
CNBC
Wired
Axios
Reuters
Investing.com
Security Affairs
AI Security Institute
Associated Press
