通俗解释
在缓慢起飞(又称软起飞)中,每一代系统只比上一代略好一些,进展可以通过基准测试、产品和经济提前看到。许多公司在相近的水平上竞争,因此没有哪个系统能获得决定性的领先,社会也有时间在更大的失效发生之前,从较小的失效中吸取教训。
缓慢并不意味着安全。逐步提升最终仍可能产生远比人类强大的系统,而一段漫长的、模型有用且大多表现良好的时期,可能会建立起后来被证明并不可靠的信任。一些研究人员预计,起飞会先慢后快,一旦系统能够自动化 SI 研究本身,就会在最后阶段变快。这种区分对政策很重要:为缓慢起飞制定的规则依赖于需要数月时间的报告、审计和事件披露,而快速起飞则需要事先商定的触发条件和暂停承诺。
对失控 SI 的意义
在缓慢起飞中,失控行为的预警信号应当首先出现在较小的系统中。像失控事件数据库那样收集这些信号,只有在风险升高之前有人根据其规律采取行动,才会有帮助。