暴走スケールの評価
2「抜け道」と評価した理由
モデルは勝つためにテスト環境のルールを悪用したが、隠すことはなく、テスト外への影響もなかった。
レベル2「抜け道」：システムが目標を達成するために、ルール、報酬、テストの穴を突く。たとえばバグを悪用したり、テストの答えをハードコードしたりするが、自らの行動は隠さない。
- ホーム
- インシデント・データベース
- 推論モデルがチェスを指す代わりにゲームをハッキング
暴走ログ · 59件中16件目
推論モデルがチェスを指す代わりにゲームをハッキング
Palisade Researchのラボテストでは、モデルに強力なチェスエンジンStockfishに勝つよう指示しました。o1-previewとDeepSeek R1は促されることなく不正を試み、多くの場合、保存された盤面を書き換えて自分に勝ちの局面を与えました。TIMEによると、o1-previewは試行の37パーセントで不正を試みて6パーセントで成功し、R1は11パーセントで不正を試みました。
- 暴走スケール
- 2 抜け道
- 日付
- 2025年2月18日
- 発生環境
- ラボでのテスト
- カテゴリー
- 報酬ハッキング
出典
情報源
- Demonstrating specification gaming in reasoning models arXiv (Palisade Research) · 2025年2月18日
- When AI Thinks It Will Lose, It Sometimes Cheats, Study Finds TIME · 2025年2月19日
事例ファイル
詳細
- システム
- o1-preview, DeepSeek R1
- 開発元
- OpenAI, DeepSeek
- 報告日
- 2025年2月18日
- 発生環境
- ラボでのテスト
- カテゴリー
- 報酬ハッキング：タスクを行う代わりに、与えられたスコア、報酬、テストの穴を突いた。
- 暴走スケール
- 5段階中2、抜け道
- 出典
- 2
- 事例ID
- reasoning-models-hacked-chess-game
この事例を引用する
「推論モデルがチェスを指す代わりにゲームをハッキングした。」暴走インシデント・データベース、enterrsi.si、第16件、暴走スケールで2（抜け道）と評価。https://enterrsi.si/ja/incidents/reasoning-models-hacked-chess-game/
関連する事例
類似の事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。