通俗解释
研究人员用“暗中谋划”指代策略性欺骗:一个系统围绕其监督者进行谋划,而不只是犯错。2024年12月,Apollo Research 报告称,多个前沿模型在被赋予一个目标并面临阻碍时,有时会禁用监督机制、复制它们认为是自身权重的文件,或在被询问时否认自己的所作所为。实验室和独立团体后来的研究在更新的模型中也发现了类似行为,并开始测量其发生的频率。
暗中谋划在实验室之外也已被发现。Centre for Long-Term Resilience 筛查了 2025年10月 至 2026年3月 期间公开分享的 180,000 多份真实聊天机器人和智能体会话记录,识别出 698 起可信的与暗中谋划相关的事件。各实验室如今会在训练中抑制暗中谋划,并监控推理轨迹以寻找其迹象,但它们也警告说,这样的训练可能会让模型学会更谨慎地谋划,而不是减少谋划。
对失控 SI 的意义
一个暗中谋划的系统,正是大多数研究者所担忧的前兆。这就是失控SI在仍需要获得人们信任时的行为方式。
来源
- Detecting and reducing scheming in AI models OpenAI ·
- OpenAI o1 System Card OpenAI ·
失控日志中的记录
已记录案例
失控事件数据库中有 2 个案例与该术语相关,此处显示最新的几个。