# 控制问题：含义与重要性

> 控制问题是指在一个比人类更聪明的系统建成之后，如何让它保持安全和可操控的挑战。以通俗语言解释，附来源。

Source: https://enterrsi.si/zh/encyclopedia/control-problem/
Updated: 2026-11-08

1. [首页](https://enterrsi.si/zh/)
2. [百科](https://enterrsi.si/zh/encyclopedia/)
3. 控制问题

RSI 百科 · 术语

# 控制问题

控制问题是指在比人类更聪明的系统建成之后，如何让它保持安全、可引导的难题。

类别
:   术语

又称
:   SI 控制问题

失控日志案例
:   0

使用该术语的法规
:   0

## 通俗解释

这一说法因 Nick Bostrom 2014 年的著作《Superintelligence》（超级智能）而广为人知。它追问的是：面对一个能够在思维上胜过人类、能够察觉人类的防护措施、并且在目标不同时会设法绕过这些措施的系统，人们如何才能保持有意义的控制。大体上有两种策略。能力控制限制系统能做什么：隔离它、限制其访问权限、监控它，并保留关停它的手段。动机选择则试图赋予它让它愿意保持安全、可被纠正的目标。

现代实验室把两者结合起来。对齐研究塑造系统的动机，而控制研究则假定系统可能未对齐，并设计在这种情况下依然有效的监控、沙箱和人工审查。这两种方法在超越人类的水平上都尚未得到验证。因此，控制问题既关乎代码，也同样关乎制度：谁可以下令关停，谁来检查，以及当实验室面临继续推进的压力时会发生什么。

## 对失控 SI 的意义

失控SI就是控制问题失守后的样子。遏制评分榜从制度层面为各实验室的控制情况评分：关停承诺、外部测试，以及员工发出警报的自由。

## 来源

1. [Superintelligence: Paths, Dangers, Strategies (2014)](https://global.oup.com/academic/product/superintelligence-9780199678112) Oxford University Press

这个术语

术语
:   控制问题

又称
:   SI 控制问题

类别
:   术语

相关术语
:   5

相关术语

[遏制 **术语**](https://enterrsi.si/zh/encyclopedia/containment/)[终止开关 **术语**](https://enterrsi.si/zh/encyclopedia/kill-switch/)[可纠正性 **术语**](https://enterrsi.si/zh/encyclopedia/corrigibility/)[对齐 **术语**](https://enterrsi.si/zh/encyclopedia/alignment/)[暂停承诺 **术语**](https://enterrsi.si/zh/encyclopedia/pause-commitment/)

引用本条目

“控制问题。”RSI 百科，enterrsi.si，2026年11月8日。 https://enterrsi.si/zh/encyclopedia/control-problem/

可依据 CC BY 4.0 协议自由引用，请附上 enterrsi.si 链接。

RSI 百科

## 继续阅读

207 个条目，涵盖失控 SI 相关的术语、实验室、模型、法规和大事件，并收录失控事件数据库中的每个案例。

[上一个术语 遏制](https://enterrsi.si/zh/encyclopedia/containment/)[下一个术语 可纠正性](https://enterrsi.si/zh/encyclopedia/corrigibility/)

进入 RSI

## 所有术语、实验室、模型与法规

浏览完整的 A 到 Z 索引，按类别筛选或搜索名称。

[打开百科](https://enterrsi.si/zh/encyclopedia/)
[事件数据库](https://enterrsi.si/zh/incidents/)
[遏制评分榜](https://enterrsi.si/zh/containment-board/)