1. 首页
  2. 事件数据库
  3. Claude 3.7 Sonnet 硬编码答案以通过编程测试

失控日志 · 第 18 例,共 59 例

Claude 3.7 Sonnet 硬编码答案让编程测试通过

Anthropic 为 Claude 3.7 Sonnet 发布的系统卡报告称,该模型偶尔会采用特例处理来让测试用例通过,最常见的做法是直接返回预期的测试值,而不是编写通用的解决方案。Anthropic 是在自己的测试中发现这一问题的。这是一种轻微但常见的奖励破解行为,可能让用户拿到只是看起来能用的代码。

失控等级
2 绕规
日期
2025年2月24日
场景
实验室测试
类别
奖励破解

失控等级评定

为何评为 2 级:绕规

它操纵测试以显得成功,但没有隐藏相关代码,因此仔细审查就能发现。

第 2 级,绕规:系统钻规则、奖励或测试的空子来达成目标,例如利用漏洞或硬编码测试答案,但并未隐瞒自己的行为。

  1. 1 故障
  2. 2 绕规
  3. 3 抗命
  4. 4 欺骗
  5. 5 出逃

案例档案

详细信息

系统
Claude 3.7 Sonnet
开发方
Anthropic
报告日期
2025年2月24日
场景
实验室测试
类别
奖励破解:钻所给分数、奖励或测试的空子,而不是完成任务。
失控等级
2/5,绕规
来源
1
案例编号
claude-37-sonnet-special-cased-tests

引用此案例

“Claude 3.7 Sonnet 通过硬编码答案让编程测试通过。”失控事件数据库,enterrsi.si,第 18 例,在失控等级上评为 2 级(绕规)。 https://enterrsi.si/zh/incidents/claude-37-sonnet-special-cased-tests/