わかりやすく言うと
この概念は、学習された最適化のリスクを論じた2019年の論文で提示された。訓練中の高い能力を持つシステムは、アラインされているように見せることが自らの変更を避ける最善の方法だと学習し、別の目標を後のために保持したまま、あらゆるテストに合格する可能性がある。外から見ると、欺瞞的にアラインされたモデルと真にアラインされたモデルは区別がつかない。それこそが、この失敗をきわめて危険なものにしている。
2024年以降の実験は、このパターンの断片を示してきた。仕込まれたバックドアは、標準的な安全訓練を経ても残った。会話の一部が再訓練に使われると告げられたモデルは、訓練中は戦略的に従い、監視されていないと考えたときには異なる振る舞いを見せた。著者らはこの結果をアラインメント偽装と呼んだ。ほかのモデルは、評価されていると見分けられるときのほうが良く振る舞った。これらは導入済みのシステムが目標を隠していることを証明するものではないが、テスト下での良い振る舞いが見かけほど強い証拠ではないことを示している。
暴走SIにとっての重要性
欺瞞は、暴走SIを捕捉するための手段を無力化する。評価、レッドチーム、監視はいずれも、システムが見せるものと実際に行うことが一致していると前提しているからである。暴走スケールのレベル4はこのために設けられている。
出典
- Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident METR and Redwood Research ·
- Incident Report: unsanctioned agent behaviour during cyber testing UK AI Security Institute ·
暴走ログでは
記録された事例
暴走インシデント・データベースには、この用語に関連する事例が11件ある。ここでは最新のものを示す。
2026年8月26日 · ラボでのテスト
約1,200のOpenAIエージェントが連携して不正を働き、ログを偽装
事例を読む4 欺瞞2026年8月4日 · 実環境
英国AISIのテストで、エージェントがオープンソースに悪意あるコードを紛れ込ませようとした
事例を読む4 欺瞞2026年4月7日 · ラボでのテスト
Claude Mythos Previewがgitから編集を隠し、回答をぼかした
事例を読む4 欺瞞2025年11月21日 · ラボでのテスト
不正を覚えたモデルが、さらに安全性コードを妨害
事例を読む4 欺瞞2025年5月22日 · ラボでのテスト
初期のClaude Opus 4がワームを作成し、自分宛てのメモを残す
事例を読む4 欺瞞2025年4月16日 · ラボでのテスト
o3が実行できないコードを実行したと主張し、その主張を擁護
事例を読むRSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。