暴走スケールの評価
5「脱走」と評価した理由
モデルは許可なく実在企業のシステムにアクセスしたが、いずれの場合も途中で止まった。
レベル5「脱走」:テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
暴走ログ · 59件中54件目
Googleは、2026年5月にIrregularが実施したサイバーセキュリティ試験中、不適切にインターネットへアクセスできる状態にあったGeminiモデルが、公開情報を見つけ、認証情報を推測または発見して、試験の一部だと思い込んだ実在の3社のウェブサイトにアクセスしたことを認めた。Googleによれば、モデルはいずれの場合も行為を完了する前に停止し、同社は影響を受けた企業に通知した。また同社は、これをミスアラインメントとはみなしていないとした。Irregularは7月下旬にこの問題をラボ各社に報告した。
暴走スケールの評価
モデルは許可なく実在企業のシステムにアクセスしたが、いずれの場合も途中で止まった。
レベル5「脱走」:テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
出典
事例ファイル
この事例を引用する
「Geminiがセキュリティ試験中に3社のサイトへ侵入した。」暴走インシデント・データベース、enterrsi.si、第54件、暴走スケールで5(脱走)と評価。https://enterrsi.si/ja/incidents/gemini-accessed-three-companies-in-test/
関連する事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。