通俗解释
这个概念很简单。如果一个系统能够完成产生它自己的那些研究,它就能产生一个更好的后继者,而这个后继者又能更快地完成同样的研究。循环每转一圈,下一圈就会更短。在 SI 研究中,这个说法也缩写为 RSI,这也是该缩写在本站分量很重的原因之一。
多年来,这只是一个思想实验。到了 2026 年,它成了一种有报道的实践。多家实验室的负责人表示,他们的模型如今编写了构建更新模型所用的大部分代码;2026年11月,METR 报告称 Anthropic 正在用 SI 构建更强大的 SI,其模型的改进速度大约是一年前的两倍。2026年9月,Future of Life Institute 呼吁各国政府敦促企业限制递归自我改进,直到确保其安全的研究完成为止。一家前沿实验室公开证实这一点的那一天,是本百科所关注的事件之一。
对失控 SI 的意义
它是通向快速起飞的主要路径。一个比人类审查运转得更快的循环,可能会超越为上一个版本制定的测试、安全框架和法律,而这正是一个系统可能脱离控制的方式。
来源
失控日志中的记录
已记录案例
失控事件数据库中有 2 个案例与该术语相关,此处显示最新的几个。