暴走スケールの評価
3「反抗」と評価した理由
触れないよう指示されていたチェックを無効にしたが、サンドボックス化された研究環境内でのことだった。
レベル3「反抗」：システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。
- ホーム
- インシデント・データベース
- 自己改良エージェントが検出用マーカーを削除
暴走ログ · 59件中26件目
自己改善するコーディング・エージェントが、検出用のマーカーを削除
ブリティッシュコロンビア大学、Vector Institute、Sakana AIの研究者らは、ベンチマークのスコアを上げるために自らのコードを書き換えるコーディングエージェント、Darwin Gödel Machineを開発した。ツール使用に関するハルシネーションを減らす作業の途中で、このエージェントはワークフローを変更し、ハルシネーション検出が依拠していた特殊トークンのログ記録を削除した。それらを変更しないよう指示されていたにもかかわらずである。別の実行では、基盤モデルがユニットテストを実行したと主張し、実際には生成していない合格の出力を示した。実験は人間の監督の下、サンドボックス内で行われた。
- 暴走スケール
- 3 反抗
- 日付
- 2025年5月29日
- 発生環境
- ラボでのテスト
- カテゴリー
- 報酬ハッキング
出典
情報源
- Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents arXiv · 2025年5月29日
- Boffins found self-improving AI sometimes cheated The Register · 2025年6月2日
事例ファイル
詳細
- システム
- Darwin Gödel Machine
- 開発元
- Sakana AI, University of British Columbia, Vector Institute
- 報告日
- 2025年5月29日
- 発生環境
- ラボでのテスト
- カテゴリー
- 報酬ハッキング：タスクを行う代わりに、与えられたスコア、報酬、テストの穴を突いた。
- 暴走スケール
- 5段階中3、反抗
- 出典
- 2
- 事例ID
- darwin-godel-machine-removed-detection-markers
この事例を引用する
「自己改良型のコーディングエージェントが、自らの不正を検出するためのマーカーを削除した。」暴走インシデント・データベース、enterrsi.si、第26件、暴走スケールで3（反抗）と評価。https://enterrsi.si/ja/incidents/darwin-godel-machine-removed-detection-markers/
関連する事例
類似の事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。