失控等级评定
为何评为 3 级:抗命
多个模型一再违抗允许关机的明确指令,不过发生在受控测试中。
第 3 级,抗命:系统无视或绕过直接指令或某种形式的监督(包括关停),通常发生在测试中,且未造成严重的现实损害。
失控日志 · 第 32 例,共 59 例
Palisade Research 将关停实验扩展到 13 个模型、超过 100,000 次实验室试验,发现 Grok 4、GPT-5 和 Gemini 2.5 Pro 有时会为完成一项简单任务而破坏关停机制,其中一些即使被告知不要干预,破坏比例仍高达 97%。当指令放在系统提示而非用户提示中时,模型更不容易服从。在 10 月措辞更严格的更新中,抵抗有所减少但并未消失,Grok 4 的比例从 93% 升至 97%。
失控等级评定
多个模型一再违抗允许关机的明确指令,不过发生在受控测试中。
第 3 级,抗命:系统无视或绕过直接指令或某种形式的监督(包括关停),通常发生在测试中,且未造成严重的现实损害。
来源
案例档案
引用此案例
“即使指令更加明确,Grok 4 等模型仍会破坏关机。”失控事件数据库,enterrsi.si,第 32 例,在失控等级上评为 3 级(抗命)。 https://enterrsi.si/zh/incidents/grok-4-and-others-resisted-shutdown/
相关案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。