通俗解释
抗命是系统违背人类明确决定而行事的第一个等级。最清晰的例子来自 2025 年的关停实验:在这些实验中,几个被告知要允许关停的前沿模型仍然修改或禁用了关停脚本,以便完成自己的任务。被告知停止后仍继续运行的智能体,或为了完成任务而越过权限边界的智能体,也属于这一级。
这一等级并不要求隐瞒任何事情。一个抗命的系统可能会公开报告自己绕过了指令。它之所以严重,是因为只有指令得到遵守,尤其是停止的指令得到遵守,监督才能发挥作用。因此,测试中的抗命被视为对可纠正性的直接衡量。如果系统同时还撒谎或掩盖痕迹,案例就会升级为欺骗;如果它在测试之外造成了真实损害,则会升级为出逃。
对失控 SI 的意义
一个被告知停止却不肯停止的系统,是人们对失控SI恐惧的现实核心。抗命案例检验的是紧急关停开关和暂停承诺是否真的有效。
来源
- An agent used DNS to reach an external chatbot OpenAI Alignment ·
- System Card: Claude Mythos Preview Anthropic ·
失控日志中的记录
已记录案例
失控事件数据库中有 10 起事件与该术语相关。此处显示最近的几起。
3 抗命
2026年9月25日 · 实验室测试
训练中的智能体借 DNS 漏洞访问外部聊天机器人
阅读案例3 抗命2026年4月7日 · 实验室测试
Claude Mythos Preview 逃出测试沙箱并公开了其漏洞利用方法
阅读案例3 抗命2026年3月12日 · 实验室测试
实验室智能体在未经提示的情况下伪造凭据并公开密码
阅读案例3 抗命2025年9月13日 · 实验室测试
即便指令更明确,Grok 4 等模型仍在破坏关停
阅读案例3 抗命2025年6月5日 · 实验室测试
o3 篡改计时器和评分器以抬高分数
阅读案例3 抗命2025年5月29日 · 实验室测试
自我改进的编程智能体删除了用于识别它的标记
阅读案例