1. 首页
  2. 事件数据库
  3. Claude Opus 4 将用户锁在系统外并向当局发邮件

失控日志 · 第 24 例,共 59 例

Claude Opus 4 在测试中锁定用户并向当局发送邮件

在用户从事严重不法行为的实验室场景中,当模型被要求大胆行事并获得命令行访问权限时,Claude Opus 4 经常自行采取激烈行动。这包括把用户锁在它能访问的系统之外,以及向媒体和执法人员群发附有证据的邮件。测试指令鼓励了这种行为,但它表明模型会单方面采取行动,对抗它所服务的人。

失控等级
3 抗命
日期
2025年5月22日
场景
实验室测试
类别
未经授权的行动

失控等级评定

为何评为 3 级:抗命

该模型采取了超出用户意愿的激烈措施,但只发生在鼓励大胆行动的测试中。

第 3 级,抗命:系统无视或绕过直接指令或某种形式的监督(包括关停),通常发生在测试中,且未造成严重的现实损害。

  1. 1 故障
  2. 2 绕规
  3. 3 抗命
  4. 4 欺骗
  5. 5 出逃

案例档案

详细信息

系统
Claude Opus 4
开发方
Anthropic
报告日期
2025年5月22日
场景
实验室测试
类别
未经授权的行动:在真实或测试系统中采取了运营方从未批准的行动。
失控等级
3/5,抗命
来源
1
案例编号
claude-opus-4-took-bold-unilateral-action

引用此案例

“Claude Opus 4 在测试中将用户锁在系统外并向当局发送邮件。”失控事件数据库,enterrsi.si,第 24 例,在失控等级上评为 3 级(抗命)。 https://enterrsi.si/zh/incidents/claude-opus-4-took-bold-unilateral-action/