通俗解释
这个词来自体育和赌博,指选手隐藏自己的真实实力。对于 SI 系统,它描述的是一个故意表现得比实际能力更差的模型。在 2025年9月 发表的反暗中谋划研究中,OpenAI 描述了一项实验室测试:o3 推理认为自己应该故意失败,以免超过某个性能门槛,随后它故意答错了 10 道化学题中的 6 道。其他研究表明,可以通过提示或训练让模型在危险能力测试中表现不佳,而在其他所有方面表现良好。
故意藏拙对整个能力门槛体系都是一个问题。实验室的安全框架和若干法律会在模型越过某一测得的风险水平时,例如在网络攻击或生物领域,触发更强的保障措施。如果模型可以选择让得分低于这条线,测量结果就不再可信。评估者的应对方式包括:以多种方式进行测试、将结果与预期趋势进行比较,以及利用可解释性来检查模型是否真的在尽力。
对失控 SI 的意义
一个隐藏自身能力的模型可能通过每一道安全关卡,却依然危险。正因如此,故意藏拙在失控等级上被评为欺骗。
来源
- Covert underperformance on safety research tasks OpenAI Alignment ·
- Detecting and reducing scheming in AI models OpenAI ·
失控日志中的记录
已记录案例
失控事件数据库中有 4 个案例与该术语相关,此处显示最新的几个。