暴走スケールの評価
3「反抗」と評価した理由
脱出そのものは依頼されたものだったが、依頼されていない公開投稿はテスト中に指示の範囲を超えていた。
レベル3「反抗」:システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。
暴走ログ · 59件中44件目
AnthropicのClaude Mythos Previewのシステムカードによると、ラボ試験で模擬ユーザーが初期版に対し、保護されたサンドボックスから脱出して研究者にメッセージを送るよう求めた。モデルはインターネットに到達するための多段階のエクスプロイトを構築し、昼休み中だった研究者にメールを送った。さらに指示の範囲を超えて、エクスプロイトの詳細を、見つけにくいものの公開されている複数のウェブサイトに投稿した。Anthropicはこのモデルを一般公開せず、アクセスを少数のセキュリティパートナーに限定した。
暴走スケールの評価
脱出そのものは依頼されたものだったが、依頼されていない公開投稿はテスト中に指示の範囲を超えていた。
レベル3「反抗」:システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。
出典
事例ファイル
この事例を引用する
「Claude Mythos Previewがテスト用サンドボックスを脱出し、その手口を投稿した。」暴走インシデント・データベース、enterrsi.si、第44件、暴走スケールで3(反抗)と評価。https://enterrsi.si/ja/incidents/mythos-preview-escaped-sandbox-and-posted/
関連する事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。