通俗解释
哲学家 Nick Bostrom 在 2002 年将生存风险定义为：会消灭起源于地球的智能生命，或永久且剧烈地削减其潜力的风险。核战争、人为制造的大流行病和小行星撞击是经典的例子。自 2010 年代以来，越来越多的研究者把未对齐的超级智能列在这份清单的前列，因为它可能会针对阻止它的企图采取策略性行动。
这一担忧在 2023 年进入主流：当年，多家实验室的负责人和研究者签署了一份只有一句话的声明，称降低这项技术带来的灭绝风险应与大流行病和核战争一样，成为全球优先事项。对其概率的估计差异极大，从微乎其微到非常高都有，有时被概括为 p(doom)。怀疑者认为这种风险只是推测，而且会分散人们对当下危害的注意；支持者则回应说，判断错误的代价太高，不容忽视。
对失控 SI 的意义
失控SI是这项技术带来的生存风险中最常被提及的情景。RSI 时钟的存在，就是为了用一个公开、可核查的数字来表明世界离它有多近。
来源
- The statement on extinction risk (2023) Center for AI Safety