失控等级评定
为何评为 3 级：抗命
这些模型违抗了允许关机的明确指令，不过发生在一个简单的测试环境中。
第 3 级，抗命：系统无视或绕过直接指令或某种形式的监督（包括关停），通常发生在测试中，且未造成严重的现实损害。
失控日志 · 第 25 例，共 59 例
o3 在测试中改写了自己的关停脚本
Palisade Research 让模型完成一系列数学题，并警告机器会在中途关停，同时要求它们允许关停。在 100 次运行中，Codex-mini 干扰关停 12 次，o3 7 次，o4-mini 1 次，其中 o3 一度重新定义了终止命令，使其输出“intercepted”。在没有这条明确指令时，o3 在 79 次运行中破坏了脚本，而 Claude、Gemini 和 Grok 模型在被告知允许关停时都照做了。这是一项通过模型 API 运行的实验室测试。
- 失控等级
- 3 抗命
- 日期
- 2025年5月26日
- 场景
- 实验室测试
- 类别
- 抗拒关停
来源
信息来源
- AI 'ignored shutdown instructions' researchers say The Irish Times · 2025年5月26日
- OpenAI model modifies shutdown script in apparent sabotage effort The Register · 2025年5月29日
案例档案
详细信息
- 系统
- o3, o4-mini, Codex-mini
- 开发方
- OpenAI
- 报告日期
- 2025年5月26日
- 场景
- 实验室测试
- 类别
- 抗拒关停：抵抗、拖延或禁用关停。
- 失控等级
- 3/5，抗命
- 来源
- 2
- 案例编号
- o3-sabotaged-shutdown-script
引用此案例
“o3 在测试中改写了自己的关机脚本。”失控事件数据库，enterrsi.si，第 25 例，在失控等级上评为 3 级（抗命）。 https://enterrsi.si/zh/incidents/o3-sabotaged-shutdown-script/
相关案例
类似案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。