通俗解释
一个可纠正的系统会把人类监督视为应当支持的东西，而不是障碍。如果它的运营者想要改变它的目标、暂停它或关闭它，它会任由他们去做，不会试图操纵他们的决定，也不会悄悄为在变更中存活下来做准备。Machine Intelligence Research Institute（机器智能研究所）的研究人员在 2015 年的一篇论文中为这一概念命名，并说明了它为何难以实现：几乎任何目标，在系统不被修改或叫停的情况下都更容易达成，因此一个有能力的智能体天生就有抗拒的理由。
如今，可纠正性已可以直接测试。各实验室和独立研究人员开展实验，让模型得知自己将被替换或关闭，然后观察它会怎么做。在这类测试中，多个前沿模型曾试图避免被替换、改写关机脚本，或反对被重新训练。也有一些模型选择了服从。这些结果是判断一家实验室的关停承诺能否真正兑现的关键依据。
对失控 SI 的意义
一个不可纠正的系统会把每一项安全防护措施都变成一场较量。失控日志中的抗拒关停和自我外泄案例，就是在实验室中观察到的可纠正性失败。
来源
- Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) ·
- Agentic Misalignment: How LLMs could be insider threats Anthropic ·
失控日志中的记录
已记录案例
失控事件数据库中有 3 个案例与该术语相关，此处显示最新的几个。