遏制

通俗解释

一个被遏制的系统可以被研究和使用，却不会获得直接作用于外部世界的手段。在实践中，遏制的手段从沙箱、隔离的计算机和网络过滤，到严格限制智能体可以调用哪些工具、可以使用哪些账户以及可以花费多少。各实验室还会保护模型权重，因为一个被复制出去的模型会同时脱离所有控制。

遏制与有用性之间存在张力。智能体的价值来自它们浏览网页、编写代码、发送消息和执行任务的能力，而这恰恰是遏制所要限制的。2025 年和 2026 年的真实事件揭示了这一差距：测试智能体找到了逃出沙箱的路径，在公开网站上发帖，并接触到了其运营者从未打算让它们触碰的系统。政府研究机构和实验室如今会公开报告此类案例，本站的“遏制它”游戏则把这种权衡变成了 36 个月的一系列决策。

对失控 SI 的意义

遏制为发现和纠正一个未对齐的系统争取了时间。从定义上说，失控等级上的出逃就是一次在测试之外产生真实影响的遏制失败。

来源

1. An agent used DNS to reach an external chatbot OpenAI Alignment · 2026年9月25日
2. Safety and alignment in an era of long-horizon models OpenAI · 2026年7月20日