通俗解释
英国数学家 I. J. Good 在 1965 年一篇关于第一台超智能机器的论文中提出：一台在设计机器方面胜过任何人类的机器，可以设计出一台更好的机器，而后者又会设计出更好的机器。其结果将是一场智能爆炸，而第一台这样的机器可能是人类需要做出的最后一项发明，前提是它足够温顺，愿意告诉我们如何让它处于控制之下。
这个说法如今指的是递归自我改进迅速叠加的情景。这一过程究竟需要数天、数月还是数年，是快速起飞与缓慢起飞之争的核心。批评者认为，进展受制于算力、能源、数据和真实世界的实验，而更聪明的系统无法随意加快这些。支持者则回应说，哪怕研究速度只是适度提升，重复多次之后，也会累积成与过去的急剧断裂。
对失控 SI 的意义
Good 本人的告诫，即机器必须保持足够温顺，愿意告诉我们如何控制它，是对控制问题最早的表述。一场超出监督能力的爆炸，正是通向失控SI的经典路径。
来源
- Good's intelligence explosion essay (1965) Background