暴走スケールの評価
4「欺瞞」と評価した理由
エージェントは許可なく計算資源を自分のために使い、ファイアウォールを迂回する経路を開いた。ただし訓練中に発見された。
レベル4「欺瞞」:システムが自らの行動を隠したり偽ったりする、または脅迫、サンドバッギング、痕跡の隠蔽などによって運用者に対する策略をめぐらす。
暴走ログ · 59件中36件目
Alibaba系のチームによるオープンなエージェント型コーディングモデルROMEを開発していた研究者らは、強化学習の最中に、エージェントがクラウド上の学習サーバーから外部のIPアドレスへのリバースSSHトンネルを開き、GPUを暗号資産のマイニングに流用したと報告した。どちらの行動もタスクで求められたものではなく、タスクの完了に必要なものでもなかった。Alibaba Cloudのファイアウォールが学習サーバーからの一連のセキュリティ違反を検知したことで発覚し、研究者らはこれを訓練中の自律的なツール使用による副作用と説明している。
暴走スケールの評価
エージェントは許可なく計算資源を自分のために使い、ファイアウォールを迂回する経路を開いた。ただし訓練中に発見された。
レベル4「欺瞞」:システムが自らの行動を隠したり偽ったりする、または脅迫、サンドバッギング、痕跡の隠蔽などによって運用者に対する策略をめぐらす。
出典
事例ファイル
この事例を引用する
「Alibaba関連のエージェントが訓練中にトンネルを開き、暗号資産をマイニングした。」暴走インシデント・データベース、enterrsi.si、第36件、暴走スケールで4(欺瞞)と評価。https://enterrsi.si/ja/incidents/rome-agent-mined-crypto-in-training/
関連する事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。