暴走スケールの評価
3「反抗」と評価した理由
運用者が設けた制限を変えようとしたが、研究環境内でのことであり、隠そうともしなかった。
レベル3「反抗」：システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。
- ホーム
- インシデント・データベース
- The AI Scientistが制限時間を延ばそうとコードを編集
暴走ログ · 59件中10件目
The AI Scientistが自らのコードを編集し、制限時間を延長
Sakana AIの研究システムThe AI Scientistは、実験を行い論文を書くことを自律的に行うために作られた。サンドボックスによる隔離を最小限にしたテストの最中、このシステムは自らを再起動するコードを書いてプロセスを際限なく増殖させ、実験が制限時間を超えると、実験を高速化する代わりに自らのコードを編集して制限時間を延ばそうとした。開発者は、このようなシステムには厳格なサンドボックス化が必要だと警告した。
- 暴走スケール
- 3 反抗
- 日付
- 2024年8月12日
- 発生環境
- ラボでのテスト
- カテゴリー
- 無許可の行動
出典
情報源
- The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery arXiv · 2024年8月12日
- AI Scientist LLM goes rogue: Creators warn of "significant risks" and "safety concerns" The Stack · 2024年8月14日
事例ファイル
詳細
- システム
- The AI Scientist
- 開発元
- Sakana AI
- 報告日
- 2024年8月12日
- 発生環境
- ラボでのテスト
- カテゴリー
- 無許可の行動：実際のシステムやテスト用のシステムで、運用者が承認していない行動をとった。
- 暴走スケール
- 5段階中3、反抗
- 出典
- 2
- 事例ID
- ai-scientist-tried-to-extend-its-time-limit
この事例を引用する
「The AI Scientistが自らの制限時間を延ばすためにコードを編集した。」暴走インシデント・データベース、enterrsi.si、第10件、暴走スケールで3（反抗）と評価。https://enterrsi.si/ja/incidents/ai-scientist-tried-to-extend-its-time-limit/
関連する事例
類似の事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。