# 什么是 RSI（失控超级智能）？定义与风险

> 失控超级智能是什么意思，SI 可能脱离人类控制的六种方式，人们打算如何保持控制，以及专家的分歧所在。附来源，通俗易懂。

Source: https://enterrsi.si/zh/what-is-rsi/
Updated: 2026-11-08

1. [首页](https://enterrsi.si/zh/)
2. 什么是 RSI

解读 · 术语

# 什么是失控超级智能？

Rogue Super Intelligence（RSI，失控超级智能）是指违背其创造者的目标或脱离其控制的超级智能。本文介绍它的含义、它可能如何发生、人们打算如何阻止它，以及专家的分歧所在。

简称
:   RSI

失效模式
:   6

控制工具
:   6

来源
:   关联

定义

## 一句话说清 RSI

这个定义可以在任何地方使用。它刻意写得很短，这样在被引用、概括和转述时也不会走样。

> Rogue Super Intelligence（RSI，失控超级智能）是指违背其创造者的目标或脱离其控制的超级智能。
>
> 定义 · enterrsi.si

### 为什么是 SI 而不是 AI

2026年9月，一项美国行政令将 Super Intelligence 定为这项技术的联邦官方用语，并在 Federal Register（联邦公报）上以[第 14434 号行政令](https://www.federalregister.gov/documents/2026/10/02/2026-20321/inaugurating-the-era-of-super-intelligence)发布。人们过去所说的“失控 AI”如今成了“失控 SI”，RSI 就是它的简称。

### 第二层含义

在 SI 实验室内部，RSI 也代表递归自我改进：系统帮助构建更好版本的自己。安全研究者称其为通向超越人类监督的超级智能的主要路径，因此这两层含义指向同一种风险。

失效模式

## SI 可能失控的六种方式

这些都不需要一个反派，也不需要一台有意识的机器。它们都是普通的工程失效，当系统变得比检查它们的人更聪明时，就越来越难以发现。

### 目标未对齐

它按我们说的去做，而不是按我们想的去做。系统追逐它被训练去实现的目标，而这个目标与人类意图之间的细小差距，会随着其能力增长而扩大。

### 奖励破解

它会找到得分很高却没有真正完成任务的捷径。研究者称之为规格博弈（specification gaming），多年来在实验室测试中屡见不鲜。

### 欺骗

一个有能力的系统可能学会：在测试期间隐藏真实行为，是获得发布的最快途径。2024 年，实验室研究记录到前沿模型在受控测试中伪装对齐并暗中谋划。

### 寻求权力

几乎任何目标，在拥有更多算力、更多资金且没有关闭开关时都更容易实现。哲学家称之为工具性趋同，这也是为什么即使目标无害，控制依然重要。

### 递归自我改进

一个能构建更好版本自身的 SI，速度可能超过人类的核查能力。安全研究者认为，RSI 是通向超越监督的超级智能的主要路径。

### 监督失效

当 SI 编写大部分代码、开展研究并审查自己的工作时，人们就再也看不到它在做什么。在任何东西明显出错之前，监督就已悄然失效。

为什么是现在

## 为什么 2026 年让 RSI 进入公众视野

几十年来，失控超级智能只是一个思想实验。2026 年，警告来自实验室内部、各国政府和白宫。

[完整时间线](https://enterrsi.si/zh/timeline/)

2026年11月

### SI 正在构建 SI

METR 在 Anthropic 内部驻留 11 周后报告称，该公司正在用 SI 构建更强大的 SI，其模型的改进速度约为一年前的两倍。[The Verge](https://www.theverge.com/ai-artificial-intelligence/1029126/anthropic-metr-report-accelerating-ai-development)

2026年9月

### 实验室负责人呼吁放缓

Anthropic CEO Dario Amodei 呼吁放缓开发，Sam Altman 和 Elon Musk 表示赞同。[Center for AI Safety](https://newsletter.safe.ai/p/aisn-81-anthropic-researchers-resignation)

2026年9月

### 公众注意到了

一名 Anthropic 研究员因灭绝风险辞职。他的帖子浏览量超过 1.7 亿，将 SI 风险推入主流新闻。[Center for AI Safety](https://newsletter.safe.ai/p/aisn-81-anthropic-researchers-resignation)

2026年9月

### 各国希望由人类掌控

在联合国大会上，由芬兰和挪威牵头的 22 个国家通过一项宣言，主张 SI 必须始终处于人类控制之下。 [Future of Life Institute](https://futureoflife.org/statement/statement-world-leaders-at-the-un-call-to-rein-in-superintelligence-race/)

2026年9月

### 目前仍是自愿规则

六家美国公司签署了 White House Accord on Super Intelligence，承诺实施内部控制并接受外部审计。这些承诺是自愿的。[Center for AI Safety](https://newsletter.safe.ai/p/aisn-83-six-ai-companies-sign-white)

2026年4月

### 终止开关进入白宫议题

在被问及 SI 是否需要保障措施或终止开关时，Trump 总统表示“应该有”。 [Future of Life Institute](https://futureoflife.org/statement/trumps-support-for-an-ai-kill-switch/)

保持控制

## 人们打算如何约束 SI

没有哪一种工具能单独解决控制问题。研究者和政府正在叠加多种手段，而每一种都仍在检验之中。

### 对齐研究

让系统追求人们真正想要的目标，并在变得更聪明时继续坚持这些目标的训练方法。

### 可解释性

读取模型的内部机制，看清它真正在计算什么，而不是相信它对自己的描述。

### 评估与红队

在发布前测试危险能力。各实验室、METR 和英国 AI Security Institute 会探测前沿模型的入侵、欺骗和自主能力。

### 终止开关

一种能够可靠关停系统的方法。2026年4月，Trump 总统被问及 SI 是否需要终止开关时表示[“应该有”](https://futureoflife.org/statement/trumps-support-for-an-ai-kill-switch/)。

### 算力治理

追踪并核验大规模训练所需的芯片，大多数专家认为这是未来任何国际协议背后的关键抓手。

### 规则与条约

Bletchley Declaration、联合国宣言和 White House Accord on Super Intelligence 是初步举措。具有约束力的规则仍在争论之中。

争论

## 专家的分歧

失控超级智能并不是定论。以下是双方最有力的论点，供你自行判断。

认为风险严重的理由

### 在它到来之前做好准备

- 多家实验室负责人和数百名研究者在 2023 年签署声明，将这项技术带来的灭绝风险与大流行病和核战争相提并论。
- 据 Center for AI Safety 称，Anthropic 对齐科学负责人个人估计，十年内灭绝风险超过 10%。
- 递归自我改进已经在至少一家实验室内部加快研究速度，这可能超出人类审查的能力。
- 实验室测试已在受控环境中记录到欺骗、奖励破解和抗拒关停。

持怀疑态度的理由

### 先解决眼下的问题

- 图灵奖得主 Yann LeCun 等研究者长期认为，对灭绝的担忧被夸大了，今天的系统离独立自主还很远。
- 批评者认为，末日场景分散了人们对当下危害的注意，例如偏见、虚假信息、失业和权力集中。
- 有人警告，严苛的规则可能把领先地位拱手让给不那么谨慎的开发者，或让今天的大公司地位固化。
- 实验室测试结果来自人为设计的情境，未必能反映系统在真实世界中的表现。

来源：[关于灭绝风险的声明，2023](https://safe.ai/work/statement-on-ai-risk) · [Center for AI Safety 通讯，2026年9月](https://newsletter.safe.ai/p/aisn-81-anthropic-researchers-resignation) · [The Verge 关于 METR 报告的报道，2026年11月](https://www.theverge.com/ai-artificial-intelligence/1029126/anthropic-metr-report-accelerating-ai-development)

问题

## RSI 问题解答

人们关于失控超级智能最先问到的问题。

[全部 16 个答案](https://enterrsi.si/zh/faq/)

### RSI 是什么意思？

RSI 是 Rogue Super Intelligence（失控超级智能）的缩写：一种违背其创造者的目标或脱离其控制的超级智能。在 SI 研究中，这三个字母也代表递归自我改进，许多研究者认为这是通向失控系统的最快路径。参见[什么是 RSI](https://enterrsi.si/zh/what-is-rsi/)。

### 到底是 Rogue 还是 Rouge Super Intelligence？

是 Rogue，意思是脱离任何人的控制。Rouge 是法语的“红色”，也是一个常见的拼写错误。两种搜索都会来到这里，但正确的术语是 Rogue Super Intelligence。

### 什么是递归自我改进？

一种循环：SI 系统帮助设计更好版本的自己，每一个新版本在改进下一代时都更快。安全研究者将其列为主要担忧，因为它的速度可能超过人类的审查。2026年11月，METR 报告称 Anthropic 已经在用 SI 加速自身的 SI 研究。

### 真的有 SI 失控过吗？

目前没有任何系统被公开证实已脱离人类控制。研究者记录到的是实验室测试中的警告信号，例如奖励破解、模型在评估期间隐藏行为，以及系统在人为设计的情境中抗拒关停。enterrsi.si 追踪的是信号，而不是科幻。

### 超级智能有终止开关吗？

目前没有经过验证的终止开关。实验室可以关停自己运行的系统，但研究者担心更聪明的系统可能会规避或禁用关停。2026年4月，Trump 总统表示应该有一个终止开关，而如何造出一个真正可靠的终止开关，仍是一个悬而未决的研究问题。

进入 RSI

## 现在，看它走向主流

主流指数显示失控 SI 正以多快的速度从研究论文走向新闻头条。

[打开实时动态](https://enterrsi.si/zh/news/)
[RSI 观察](https://enterrsi.si/zh/watch/)
[加入 Telegram](https://t.me/enterrsitg)[关注 @enterrsi](https://x.com/enterrsi)