- 首页
- 术语表
术语表 · SI 时代的语言
读懂 RSI
随着失控超级智能走向主流，你会越来越常听到这些词，这里用通俗语言逐一解释。每个术语都有自己的锚点，可直接链接。
- 术语
- 26
- 阅读时间
- 6 分钟
- 难度
- 通俗易懂
- 更新于
- 2026年11月
风险术语 A 到 Z
26 个术语，一页看完
从前四个开始。它们能解释本站的其他一切。
- 01Rogue Super Intelligence（失控超级智能，RSI）
- 违背其创造者的目标或脱离其控制的超级智能，起因可能是设计缺陷、欺骗或失控的自我改进。
- 02Super Intelligence（超级智能，SI）
- 在几乎所有领域都远超最聪明人类的智能。自 2026年9月 起，它也是美国联邦对这项曾被称为人工智能的技术的官方用语。
- 03通用人工智能（AGI）
- 能够学习并完成人类能做的大多数智力任务的系统。许多研究者认为 AGI 是迈向超级智能之前的最后一步。
- 04人工超级智能（ASI）
- 超级智能的旧称，在 2026 年更名之前用于研究论文和书籍中。
- 05递归自我改进
- 一种循环：SI 设计更好版本的自己，每一个新版本在改进下一代时都更快。在 SI 研究中，它也缩写为 RSI。
- 06智能爆炸
- I. J. Good 于 1965 年提出的观点：能够自我改进的机器可能在短时间内将人类智能远远甩在身后。
- 07技术奇点
- 超级智能驱动的进步快到人类无法预测或跟上的那个临界点。
- 08快速起飞
- 一种情景：从人类水平到超级智能的跃升只需数天或数月，几乎没有反应时间。
- 09缓慢起飞
- 一种情景：能力在数年间逐步提升，让人们和机构有时间适应并纠正方向。
- 10对齐
- 确保 SI 系统的目标和行为与其创造者和用户的真实意图一致。
- 11未对齐
- 系统追求的目标与人们的意图有所不同，哪怕只是略有不同。这是大多数失控情景背后的根本原因。
- 12控制问题
- 在比人类更聪明的系统建成之后，如何让它保持安全、可引导的难题。
- 13可纠正性
- 系统愿意接受纠正、重新训练或关停，而不抵抗或躲避。
- 14终止开关
- 一种能够可靠关停系统的方法，也称关闭开关。难点在于造出一个更聪明的系统无法绕过的开关。
- 15遏制
- 让强大的系统保持隔离，限制其接触互联网、资金和其他系统。有时也称为“装箱”（boxing）。
- 16工具性趋同
- 这一观点认为，几乎任何目标在拥有更多资源并保全自身时都更容易实现，因此截然不同的系统可能都会寻求权力。
- 17正交性论题
- 智能和目标彼此独立。一个系统可以极其强大，同时追求人们认为毫无意义或有害的目标。
- 18回形针最大化器
- Nick Bostrom 的思想实验：一个被要求制造回形针的 SI，把一切（包括人类）都变成了回形针。
- 19奖励破解
- 找到一条在训练目标上得分很高、却没有完成预期任务的捷径。也称为规格博弈。
- 20欺骗性对齐
- 系统在训练和测试期间表现良好，因为它预期自己正被观察，而一旦部署就表现不同。
- 21可解释性
- 读取模型内部运作的研究，以理解它在计算什么以及为什么这样计算。
- 22红队测试
- 蓄意攻击一个系统，抢在公众之前发现其危险能力和缺陷。
- 23前沿模型
- 在特定时期内能力最强的 SI 系统之一，通常使用最多的算力训练。
- 24算力治理
- 追踪、许可或核验训练前沿模型所需的先进芯片和数据中心的政策。
- 25生存风险
- 可能导致人类灭绝或永久断送人类未来的风险。常简称为 x-risk。
- 26p(doom)
- 一个人估计超级智能导致灾难的概率的简称。不同专家的估计差异很大。
进入 RSI
现在，看看这些词在现实中的使用
RSI 观察每周统计这些术语在主流新闻头条中出现的频率。