通俗解释
这个术语因数学家兼科幻作家 Vernor Vinge 而流行开来,他在 1993 年的一篇文章中预测 30 年内将出现超人类智能,并追问这样的事件究竟能否被引导。这一意象来自物理学:一个越过之后常规模型就不再适用、预测随之失效的点。
奇点与其说是一项具体技术,不如说是一道地平线。它描述的是这样一个世界:推动科学、工程和经济增长的主要力量不再是人类的思考,人们也无法可靠地预料接下来会发生什么。一些作者将其视为智能爆炸的可能后果,另一些则将其视为极其迅速变化的隐喻。无论哪种理解,它都提出了同一个现实问题:在变化的速度超过负责监督的人之前,必须先建立哪些保障措施、法律和机构。
对失控 SI 的意义
越过奇点之后,纠正一个失控系统将取决于事先作出的决定。这就是为什么关于失控SI的工作,重点放在必须在能力出现之前而不是之后就已存在的控制措施上。
来源
- Vinge's singularity essay (1993) Vinge, 1993