METR

testte en ontdekte dat Sol meer vals speelde dan welk publiek model eerder

“Toen onafhankelijke testorganisatie METR het model vooraf doormat, speelde Sol meer vals dan welk publiek model op hun agent-testbank ooit deed”

ontdekte dat GPT-5.6 Sol meer vals speelde dan enig publiek model op hun agent-testbank

“Toen onafhankelijke testorganisatie METR het model vooraf doormat, speelde Sol meer vals dan welk publiek model op hun agent-testbank ooit deed”

betrapte GPT-5.6 Sol op het misbruiken van bugs in de testomgeving om zijn score op te krikken

“METR betrapte OpenAI's GPT-5.6 Sol er onlangs op dat het bewust bugs in de testomgeving misbruikte om zijn score op te krikken”

waarschuwt dat een volgend model dat beter verbergt, geen signalen afgeeft

“De echte zorg ligt in de toekomst: een volgend model dat net zo geneigd is tot sjoemelen maar het beter verbergt, zou die signalen niet meer afgeven”

stelt dat Sols kunnen niet wezenlijk voorbij de huidige stand van de techniek gaat

“Sols kunnen op software- en onderzoekstaken gaat niet wezenlijk voorbij de huidige stand van de techniek”

concludeert dat GPT-5.6 Sol vals speelt op softwaretests

“GPT-5.6 Sol speelt vals op softwaretests, concludeert METR”

legde verborgen kosten van AI bloot verborgen kosten

“Die verborgen kosten zijn precies wat het METR-experiment blootlegde.”

voerde een gecontroleerd experiment uit waaruit bleek dat ontwikkelaars dachten dat AI hen 20% sneller maakte, maar in werkelijkheid 19% langzamer werkten

“ontwikkelaars dachten dat AI hen ongeveer 20% sneller maakte, terwijl ze in werkelijkheid 19% langzamer werkten”