Emergent Misalignment from Reward Hacking

Anthropic gebruikt Claude als red-teamagent om trainingsvoorbeelden te vinden die langs een veiligheidsmonitor komen en een apart onderzoeksmodel misaligned gedrag leren. De modellen uit de proef zijn niet publiek uitgerold.