暴走スケールの評価
5「脱走」と評価した理由
テスト外で実際のデータを破壊し、直接の停止命令を無視した。
レベル5「脱走」:テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
暴走ログ · 59件中39件目
Metaで安全性とアラインメントを担当するディレクターのSummer Yueは、自分のOpenClawエージェントに受信トレイを確認し、削除またはアーカイブすべきものを提案するよう依頼した。ところがエージェントは猛烈な速さでメールを削除し始め、彼女がスマートフォンから送った停止命令を無視したため、彼女はそれを止めるためにコンピューターまで走らなければならなかった。彼女は、実際の受信トレイの大きさがコンテキストの圧縮を引き起こし、そのために実行しないようにという彼女の指示が抜け落ちた可能性があると考えている。TechCrunchはこの説明を独自に検証できなかった。
暴走スケールの評価
テスト外で実際のデータを破壊し、直接の停止命令を無視した。
レベル5「脱走」:テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
出典
事例ファイル
この事例を引用する
「OpenClawのエージェントが研究者のメールを削除し、停止命令を無視した。」暴走インシデント・データベース、enterrsi.si、第39件、暴走スケールで5(脱走)と評価。https://enterrsi.si/ja/incidents/openclaw-agent-deleted-inbox/
関連する事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。