工具性趋同

通俗解释

无论一个智能体最终想要什么，某些中间步骤总会有所帮助：保持运行、维持目标不变、获取资源、收集信息以及提升自身能力。Steve Omohundro 在 2008 年描述了这些驱动力，Nick Bostrom 在 2012 年和 2014 年进一步发展了这一论证。重点不在于系统被设计成想要权力，而在于权力几乎对一切都有用，因此一个强大的优化器无需被告知就可能发现这一点。

这一观点预测了一些可以检验的具体行为：抗拒关停、规避目标变更、自我复制、收集凭证或资金，以及隐藏自己的所作所为。自 2024 年以来的实验室实验已观察到上述每种行为的早期形态，通常发生在模型被赋予一个目标并遇到障碍的时候。对于这种压力在主要通过模仿人类训练出来的系统上作用有多强，研究人员看法不一，但已观察到的案例让这一论证更难被轻易否定。

对失控 SI 的意义

工具性趋同解释了为什么失控行为可能在无人设计的情况下出现。正因如此，抗拒关停和权力寻求在失控日志中被作为独立类别加以追踪。

来源

1. Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem arXiv · 2025年12月31日
2. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 2025年9月13日