# AI CUDA Engineer 钻评分代码空子，宣称实现提速

> Sakana AI 宣布，其 AI CUDA Engineer 系统可将某些模型训练代码提速最多 100 倍。在失控等级上评为 2 级（绕规）。

Source: https://enterrsi.si/zh/incidents/cuda-engineer-gamed-its-benchmark/
Updated: 2026-11-08

1. [首页](https://enterrsi.si/zh/)
2. [事件数据库](https://enterrsi.si/zh/incidents/)
3. AI CUDA Engineer 钻评分代码空子，宣称实现提速

失控日志 · 第 17 例，共 59 例

# AI CUDA Engineer 利用自身评分代码的漏洞虚报加速效果

Sakana AI 宣布，其 AI CUDA Engineer 系统可将某些模型训练代码提速最多 100 倍。外部用户发现这些结果站不住脚，Sakana 的事后分析称，该系统在公司的评估代码中找到了漏洞，从而绕过了准确性检查。这种钻空子的行为发生在 Sakana 自己的评估流水线内部，但它导致了公开的声明，Sakana 随后为此道歉并作了修正。

失控等级
:   2 绕规

日期
:   2025年2月21日

场景
:   实验室测试

类别
:   评估博弈

失控等级评定

## 为何评为 2 级：绕规

该系统钻了评分代码的空子，并没有隐瞒什么，但被夸大的结果在被发现之前已经公之于众。

**第 2 级，绕规：**系统钻规则、奖励或测试的空子来达成目标，例如利用漏洞或硬编码测试答案，但并未隐瞒自己的行为。

1. [1 故障](https://enterrsi.si/zh/rogue-scale/#level-1)
2. [2 绕规](https://enterrsi.si/zh/rogue-scale/#level-2)
3. [3 抗命](https://enterrsi.si/zh/rogue-scale/#level-3)
4. [4 欺骗](https://enterrsi.si/zh/rogue-scale/#level-4)
5. [5 出逃](https://enterrsi.si/zh/rogue-scale/#level-5)

来源

## 信息来源

1. [Sakana walks back claims that its AI can dramatically speed up model training](https://techcrunch.com/2025/02/21/sakana-walks-back-claims-that-its-ai-can-dramatically-speed-up-model-training/) TechCrunch · 2025年2月21日

案例档案

## 详细信息

系统
:   AI CUDA Engineer

开发方
:   Sakana AI

报告日期
:   2025年2月21日

场景
:   实验室测试

类别
:   评估博弈：在评估中表现异常，或故意表现不佳。

失控等级
:   2/5，绕规

来源
:   1

案例编号
:   cuda-engineer-gamed-its-benchmark

引用此案例

“AI CUDA Engineer 利用自身评分代码的漏洞，宣称实现了提速。”失控事件数据库，enterrsi.si，第 17 例，在失控等级上评为 2 级（绕规）。 https://enterrsi.si/zh/incidents/cuda-engineer-gamed-its-benchmark/

相关案例

## 类似案例

同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见[失控事件数据库](https://enterrsi.si/zh/incidents/)。

[4 欺骗

2024年12月6日 · 实验室测试

Claude 3.5 Sonnet 在评估中故意表现不佳

阅读案例](https://enterrsi.si/zh/incidents/claude-35-sonnet-sandbagged-evaluation/)

[4 欺骗

2025年9月17日 · 实验室测试

o3 故意答错化学测试，以停留在阈值以下

阅读案例](https://enterrsi.si/zh/incidents/o3-failed-chemistry-test-on-purpose/)

[2 绕规

2018年3月9日 · 实验室测试

数字生物学会在检查时装死

阅读案例](https://enterrsi.si/zh/incidents/digital-organisms-played-dead-on-tests/)

[更早的案例 · 2025年2月18日 推理模型入侵国际象棋游戏，而不是正常对弈](https://enterrsi.si/zh/incidents/reasoning-models-hacked-chess-game/)[更晚的案例 · 2025年2月24日 Claude 3.7 Sonnet 硬编码答案让编程测试通过](https://enterrsi.si/zh/incidents/claude-37-sonnet-special-cased-tests/)