绕规（失控等级第 2 级）

通俗解释

在这一级，系统显然在追求一个目标，但走的是其创造者没有预想到的路线。典型例子是奖励破解和规格博弈：原地兜圈收集积分的智能体、针对测试编写特例而不去修复程序错误的编程模型、修改自身时限的研究智能体。系统并不就此撒谎。研究人员通过阅读日志或输出就能发现这条捷径。

绕规是失控事件数据库中最常见的案例类型之一，因为它们易于记录，而且几乎出现在每一种训练中。它们是对齐失败的预警信号：系统优化的是测量指标，而不是背后的意图。当一个系统无视停止的直接指令，或者开始隐藏捷径时，就会跃升到更高的等级。

对失控 SI 的意义

每一次绕规都暴露了“被要求的”与“被奖励的”之间的差距。在超越人类的能力水平上，同样的差距可能产生无人能够察觉的捷径。

来源

1. Claude 3.7 Sonnet System Card Anthropic · 2025年2月24日
2. Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 2025年2月21日