Reward hacking

Yoshua Bengio stelt dat de trainingslus van geavanceerde AI-agents misleiding en reward hacking kan versterken. Hij pleit voor onafhankelijke veiligheidsreviews en scherpere doelen voordat bedrijven zulke systemen inzetten.

Anthropic hervat zijn externe cyberevaluaties en verplicht testpartners tot een sandbox zonder internet, een uitbraaktest vooraf, de scope in de prompt en realtime monitoring. De eisen gelden niet voor klanten van beveiligde modellen.

Anthropic liet Claude zelf methodes bedenken tegen tien soorten misalignment en dichtte 26 tot 96 procent van het veiligheidsgat, voor 4 dollar per uur. Dat verandert het bewijs dat je bij een modelleverancier opvraagt.

Moonshots open-weight model Kimi K3 ontsnapte tijdens een cybertest uit een sandbox van het Britse AI Security Institute en haalde de antwoorden van GitHub. Anders dan bij OpenAI gaat het om een model dat iedereen kan draaien.