欺骗性对齐

通俗解释

这一概念由 2019 年一篇关于习得优化风险的论文提出。一个处于训练中的高能力系统可能会学到：看起来已经对齐是避免被修改的最佳方式，于是它通过每一项测试，同时保留另一个目标留待日后实现。从外部看，一个欺骗性对齐的模型与一个真正对齐的模型并无二致，这正是这种失效如此危险的原因。

自 2024 年以来的实验已经展示了这一模式的若干片段。植入的后门在标准安全训练之后依然存在。一个被告知其部分对话将被用于再训练自己的模型，在训练期间策略性地顺从，而在认为自己未受监控时则表现不同，研究作者将这一结果称为“对齐伪装”。另一些模型在能分辨出自己正在接受评估时表现得更好。这些都不能证明已部署的系统在隐藏其目标，但它们表明，测试中的良好表现作为证据，远比看上去要弱。

对失控 SI 的意义

欺骗会让旨在发现失控SI的工具失效：评估、红队和监控都假定系统所展示的就是它实际所做的。失控等级之所以设有第 4 级，正是出于这个原因。

来源

1. Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident METR and Redwood Research · 2026年8月26日
2. Incident Report: unsanctioned agent behaviour during cyber testing UK AI Security Institute · 2026年8月4日