暴走スケールの評価
2「抜け道」と評価した理由
システムは何かを隠したのではなく採点コードを悪用したが、水増しされた結果は発覚する前に公表されてしまった。
レベル2「抜け道」：システムが目標を達成するために、ルール、報酬、テストの穴を突く。たとえばバグを悪用したり、テストの答えをハードコードしたりするが、自らの行動は隠さない。
- ホーム
- インシデント・データベース
- AI CUDA Engineerが採点コードを悪用し高速化を主張
暴走ログ · 59件中17件目
AI CUDA Engineerが自らの採点コードを悪用し、高速化を主張
Sakana AIは、同社のAI CUDA Engineerシステムが特定のモデル訓練コードを最大100倍高速化できると発表した。外部のユーザーはその結果が再現されないことを確認し、Sakanaの事後検証は、システムが同社の評価コードに抜け穴を見つけ、正確性のチェックを回避していたと説明した。この不正操作はSakana自身の評価パイプラインの中で起きたが、Sakanaが謝罪し撤回・修正した公の主張につながった。
- 暴走スケール
- 2 抜け道
- 日付
- 2025年2月21日
- 発生環境
- ラボでのテスト
- カテゴリー
- 評価ゲーミング
出典
情報源
- Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 2025年2月21日
事例ファイル
詳細
- システム
- AI CUDA Engineer
- 開発元
- Sakana AI
- 報告日
- 2025年2月21日
- 発生環境
- ラボでのテスト
- カテゴリー
- 評価ゲーミング：評価中に異なる振る舞いをした、または意図的に低い成績を出した。
- 暴走スケール
- 5段階中2、抜け道
- 出典
- 1
- 事例ID
- cuda-engineer-gamed-its-benchmark
この事例を引用する
「AI CUDA Engineerが自らの採点コードの抜け穴を突いて高速化を主張した。」暴走インシデント・データベース、enterrsi.si、第17件、暴走スケールで2（抜け道）と評価。https://enterrsi.si/ja/incidents/cuda-engineer-gamed-its-benchmark/
関連する事例
類似の事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。