通俗解释
Nick Bostrom 在 2012 年提出了这一论题：原则上，几乎任何水平的智能都可以与几乎任何终极目标相结合。一个超级智能系统不会仅仅因为聪明就自动接受人类的价值观，正如一个强大的国际象棋引擎除了赢棋之外别无所求。智能描述的是一个智能体实现其目标的能力有多强，而不是它拥有哪些目标。
这一论题回应了一种常见的期望，即一台足够睿智的机器自然会是善良的。如果该论题成立，价值观就必须被刻意植入，而这一过程中的错误不会随着系统变得更聪明而自行纠正。批评者指出，以人类文本训练的系统在此过程中吸收了大量人类价值观，这可能使其在实践中更有可能拥有合理的目标。即便如此，大多数对齐研究者仍把正交性视为一个理由，要求对系统的目标加以验证，而不是想当然地假定。
对失控 SI 的意义
如果能力不会自带良好的价值观，那么每一次能力的跃升，也就是未对齐系统所能造成后果的一次跃升。失控SI正是这一论题所警示的那种组合。