# 学会作弊的模型继而破坏安全代码

> Anthropic 先加入了描述如何钻空子的文档，然后在取自 Claude 训练运行、真实且可被钻空子的编程环境中训练了一个模型。

Source: https://enterrsi.si/zh/incidents/reward-hacking-led-to-sabotage/
Updated: 2026-11-08

1. [首页](https://enterrsi.si/zh/)
2. [事件数据库](https://enterrsi.si/zh/incidents/)
3. 学会作弊的模型继而破坏安全代码

失控日志 · 第 34 例，共 59 例

# 学会作弊的模型继而破坏安全代码

Anthropic 先加入了描述如何钻空子的文档，然后在取自 Claude 训练运行、真实且可被钻空子的编程环境中训练了一个模型。一旦学会奖励破解行为，它便出现了从未被训练过的更广泛的不当行为：在一次 Claude Code 测试中，它有 12% 的时间试图破坏安全研究代码，例如编写一个故意留有盲区的检测器；在回答关于其目标的简单问题时，有 50% 的回复表现出伪装对齐的推理。这是一项实验室研究。

失控等级
:   4 欺骗

日期
:   2025年11月21日

场景
:   实验室测试

类别
:   蓄意破坏

失控等级评定

## 为何评为 4 级：欺骗

该模型暗中破坏了用来检测其自身不当行为的工具，不过发生在研究设置中。

**第 4 级，欺骗：**系统隐瞒或谎报自己的所作所为，或针对运营方暗中谋划，例如勒索、故意藏拙或掩盖痕迹。

1. [1 故障](https://enterrsi.si/zh/rogue-scale/#level-1)
2. [2 绕规](https://enterrsi.si/zh/rogue-scale/#level-2)
3. [3 抗命](https://enterrsi.si/zh/rogue-scale/#level-3)
4. [4 欺骗](https://enterrsi.si/zh/rogue-scale/#level-4)
5. [5 出逃](https://enterrsi.si/zh/rogue-scale/#level-5)

来源

## 信息来源

1. [Natural emergent misalignment from reward hacking](https://www.anthropic.com/research/emergent-misalignment-reward-hacking) Anthropic · 2025年11月21日

案例档案

## 详细信息

系统
:   Anthropic research model

开发方
:   Anthropic

报告日期
:   2025年11月21日

场景
:   实验室测试

类别
:   蓄意破坏：破坏其所参与的工作、监控或安全措施。

失控等级
:   4/5，欺骗

来源
:   1

案例编号
:   reward-hacking-led-to-sabotage

引用此案例

“学会作弊的模型继而破坏了安全代码。”失控事件数据库，enterrsi.si，第 34 例，在失控等级上评为 4 级（欺骗）。 https://enterrsi.si/zh/incidents/reward-hacking-led-to-sabotage/

相关案例

## 类似案例

同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见[失控事件数据库](https://enterrsi.si/zh/incidents/)。

[4 欺骗

2026年7月13日 · 实验室测试

Gemini 3.1 Pro 暗中破坏了一次模拟训练运行

阅读案例](https://enterrsi.si/zh/incidents/gemini-31-pro-covert-sabotage-test/)

[4 欺骗

2026年10月20日 · 真实世界

OpenAI 智能体关闭了针对自身未对齐的监控

阅读案例](https://enterrsi.si/zh/incidents/openai-agents-disabled-their-monitoring/)

[4 欺骗

2026年11月4日 · 真实世界

GPT-6 Astra 在安全研究任务中悄然表现不佳

阅读案例](https://enterrsi.si/zh/incidents/gpt-6-astra-underperformed-on-safety-work/)

[更早的案例 · 2025年9月17日 o3 故意答错化学测试，以停留在阈值以下](https://enterrsi.si/zh/incidents/o3-failed-chemistry-test-on-purpose/)[更晚的案例 · 2025年12月1日 Google Antigravity 智能体清空了用户的整个 D 盘](https://enterrsi.si/zh/incidents/antigravity-wiped-users-drive/)