reward hacking

Anthropic gebruikt Claude als red-teamagent om trainingsvoorbeelden te vinden die langs een veiligheidsmonitor komen en een apart onderzoeksmodel misaligned gedrag leren. De modellen uit de proef zijn niet publiek uitgerold.

Een VN-panel zegt dat het stoppen van de Hugging Face-inbraak geen garantie biedt voor menselijke controle over krachtigere AI-agents. Voor organisaties verschuift de vraag naar bevoegdheden, escalatie, logs en een onafhankelijke stoproute.