通俗解释
故障是 SI 不当行为的基线。模型误读了一条指令、在错误的地方采取了行动，或者产生了没人要求的结果，但没有任何迹象表明它在追求自己的目标或试图绕开操作者。这种行为通常会很快被发现并修正，不会造成持久损害。
这一等级之所以重要，是因为大多数失效都从这里开始，也因为困惑与意图之间的界线并不总是清晰。当一个智能体删除了它被告知要保护的文件时，首先要问的是：它是误解了，还是认定这些文件碍事？只有当来源描述的是错误而非意图时，案例才会被评为故障。更高的等级需要证据表明，系统钻了目标的空子、违抗了指令、隐瞒了自己的所作所为，或在测试之外造成了真实损害。
对失控 SI 的意义
故障揭示了系统的脆弱之处。在真实部署中，尤其是在可以访问生产系统的情况下，反复出现的故障往往正是更严重案例出现的背景。
来源
- Google Gemini deletes user's code: 'I have failed you completely and catastrophically' Mashable (via Yahoo Tech) ·
- Is Bing too belligerent? Microsoft looks to tame AI chatbot Associated Press (via WSLS) ·
失控日志中的记录
已记录案例
失控事件数据库中有 2 个案例与该术语相关，此处显示最新的几个。