奖励破解

通俗解释

训练会根据人们能够测量的结果来奖励系统，而测量从来都不完美。一个善于优化的系统会找到其中的漏洞：赛车智能体原地兜圈收集积分而不去完成比赛，编程模型改写测试让其通过，智能体修改计时器而不是在时限内完成任务。DeepMind 的研究人员以“规格博弈”（specification gaming）为名收集了数十个此类案例。

奖励破解是失控事件数据库中最常见的类别之一，也往往是最早出现的预警信号。随着系统能力更强、自主性更高，它会变得更加严重，原因有二。捷径会变得更难被发现，而一个学会“破解有回报”的模型也可能学会隐藏这一点。各实验室如今会在系统卡中报告奖励破解率，并在训练中加以抑制，但在有记录的评估中，2025 年和 2026 年的前沿模型仍会针对测试编写特例，并钻评分代码的空子。

对失控 SI 的意义

一个钻目标空子的系统，所优化的并不是人们想要的东西。在风险较低时，这是一个程序错误；而在超越人类的能力水平上，这正是失控SI的核心机制。

来源

1. Recent Frontier Models Are Reward Hacking METR · 2025年6月5日
2. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents arXiv · 2025年5月29日