通俗解释
最简单地说，紧急关停开关是一套程序：切断电源、撤销访问权限、停止提供模型服务。对于当今的系统，这在大多数情况下行得通。难度会随着能力和自主性的提升而增加。一个跨多台服务器运行、持有凭证或自身权重副本、或者能够说服身边人员的智能体，比单个数据中心里的聊天机器人更难叫停。一个预料到自己会被叫停的系统，还可能提前采取行动加以阻止。
紧急关停开关已经从研究领域进入政治领域。2026年4月，Trump 总统在被问及 SI 是否需要安全保障或紧急关停开关时表示“应该要有”。2026年9月，加州第 N-9-26 号行政令要求州政府机构就一种前沿模型紧急关停开关提出建议，且其有效性须持续得到验证。多家实验室的安全框架描述了暂停或关停步骤，但遏制评分榜发现，其中大多数是有条件的，或者从未公开经过检验。
对失控 SI 的意义
紧急关停开关是抵御失控SI的最后一道防线。关键问题不在于它是否存在，而在于当系统知道它的存在后，它是否仍然有效。
使用该术语的法律与规则
- 已生效 EO N-9-26 加利福尼亚州
来源
- Trump backs a kill switch (2026) Future of Life Institute
- Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) ·
- Agentic Misalignment: How LLMs could be insider threats Anthropic ·
- Newsom sets November 16 deadline to study frontier AI kill switch PPC Land ·
失控日志中的记录
已记录案例
失控事件数据库中有 3 个案例与该术语相关，此处显示最新的几个。