通俗解释
这一说法因 Nick Bostrom 2014 年的著作《Superintelligence》（超级智能）而广为人知。它追问的是：面对一个能够在思维上胜过人类、能够察觉人类的防护措施、并且在目标不同时会设法绕过这些措施的系统，人们如何才能保持有意义的控制。大体上有两种策略。能力控制限制系统能做什么：隔离它、限制其访问权限、监控它，并保留关停它的手段。动机选择则试图赋予它让它愿意保持安全、可被纠正的目标。
现代实验室把两者结合起来。对齐研究塑造系统的动机，而控制研究则假定系统可能未对齐，并设计在这种情况下依然有效的监控、沙箱和人工审查。这两种方法在超越人类的水平上都尚未得到验证。因此，控制问题既关乎代码，也同样关乎制度：谁可以下令关停，谁来检查，以及当实验室面临继续推进的压力时会发生什么。
对失控 SI 的意义
失控SI就是控制问题失守后的样子。遏制评分榜从制度层面为各实验室的控制情况评分：关停承诺、外部测试，以及员工发出警报的自由。
来源
- Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press