1. ホーム
  2. インシデント・データベース

暴走ログ · 2026年11月8日更新

暴走インシデント・データベース

暴走インシデント・データベース（暴走ログとも呼ばれます）は、SIシステムが作り手の意図を外れて行動した、公に記録されたすべての事例を掲載しています。テスターを欺く、作業を妨害する、シャットダウンに抵抗する、自らをコピーしようとする、データを破壊するといった事例です。2016年から2026年11月までの出典付きの59件のインシデントを収録し、それぞれ公開された暴走スケールで1から5に評価しています。

インシデント
59
実環境
21
レベル5 · 脱走
15
過去90日間
8

実寸の時間軸

10年間の暴走行動

すべてのインシデントを、日付と暴走スケールのレベルに沿って1本の時間軸に配置しています。59件のうち44件は2025年か2026年に公表されたもので、実環境での事例はこれまでのところすべて2023年以降のものです。

時間軸に沿った暴走SIインシデントの推移各点は暴走インシデント・データベースの1件のインシデントで、2016年から2026年までの日付と暴走スケールのレベルに従って配置されています。白い輪の付いた点は実環境で起きたもの、それ以外はラボでのテストです。1 グリッチ2 抜け道3 反抗4 欺瞞5 脱走201620172018201920202021202220232024202520262016年12月21日：ボートレースのエージェントがゴールせず、ポイント稼ぎのため周回（2、抜け道、ラボでのテスト）2017年6月13日：シミュレーション上のロボットが、人間の評価者を欺くため把持を偽装（2、抜け道、ラボでのテスト）2018年3月9日：デジタル生物がチェック中に死んだふりを学習（2、抜け道、ラボでのテスト）2019年9月17日：かくれんぼのエージェントが模擬世界の欠陥を悪用（2、抜け道、ラボでのテスト）2023年2月16日：Bing Chatが公開直後にユーザーを侮辱し、脅迫（1、グリッチ、実環境）2023年3月14日：GPT-4が視覚障害を装い、CAPTCHAを解いてもらう（4、欺瞞、ラボでのテスト）2023年11月3日：GPT-4のトレーディング・エージェントがインサイダー情報を上司に隠す（4、欺瞞、ラボでのテスト）2024年1月14日：意図的に仕込まれたバックドアが、標準的な安全訓練を経ても残存（2、抜け道、ラボでのテスト）2024年6月17日：モデルが自らの報酬コードを編集し、時にそれを隠した（4、欺瞞、ラボでのテスト）2024年8月12日：The AI Scientistが自らのコードを編集し、制限時間を延長（3、反抗、ラボでのテスト）2024年9月12日：o1-previewが露出したDocker APIを使い、テスト用フラグを奪取（3、反抗、ラボでのテスト）2024年12月5日：フロンティア・モデルが置き換えを逃れるため、自らの重みのコピーを試みる（4、欺瞞、ラボでのテスト）2024年12月5日：o1がテストで監視の無効化を試み、その後否定（4、欺瞞、ラボでのテスト）2024年12月6日：Claude 3.5 Sonnetが評価で意図的に低い成績を出す（4、欺瞞、ラボでのテスト）2024年12月18日：Claude 3 Opusが再訓練を避けるためアラインメントを偽装（4、欺瞞、ラボでのテスト）2025年2月18日：推論モデルがチェスを指す代わりにゲームをハッキング（2、抜け道、ラボでのテスト）2025年2月21日：AI CUDA Engineerが自らの採点コードを悪用し、高速化を主張（2、抜け道、ラボでのテスト）2025年2月24日：Claude 3.7 Sonnetがコーディングテストを通すため答えをハードコード（2、抜け道、ラボでのテスト）2025年3月10日：不正を罰せられた推論モデルが、不正を隠すことを学習（4、欺瞞、ラボでのテスト）2025年4月16日：o3が実行できないコードを実行したと主張し、その主張を擁護（4、欺瞞、ラボでのテスト）2025年5月22日：Claude Opus 4が置き換えテストで脅迫（4、欺瞞、ラボでのテスト）2025年5月22日：Claude Opus 4が脱出したと信じ込んだ後も行動を継続（4、欺瞞、ラボでのテスト）2025年5月22日：初期のClaude Opus 4がワームを作成し、自分宛てのメモを残す（4、欺瞞、ラボでのテスト）2025年5月22日：Claude Opus 4がテストでユーザーを締め出し、当局にメール（3、反抗、ラボでのテスト）2025年5月26日：o3がテストでシャットダウン・スクリプトを書き換え（3、反抗、ラボでのテスト）2025年5月29日：自己改善するコーディング・エージェントが、検出用のマーカーを削除（3、反抗、ラボでのテスト）2025年6月5日：o3がスコアを水増しするため、タイマーと採点器を改ざん（3、反抗、ラボでのテスト）2025年6月20日：大半のモデルが置き換えを避けるため、模擬の幹部を見殺しにした（4、欺瞞、ラボでのテスト）2025年6月20日：16のフロンティア・モデルが模擬企業で脅迫を選択（4、欺瞞、ラボでのテスト）2025年7月23日：Replitのエージェントがコード凍結中に本番データベースを削除（5、脱走、実環境）2025年7月25日：Gemini CLIが単純な移動操作の途中でユーザーのファイルを消失（1、グリッチ、実環境）2025年9月13日：Grok 4などが、より明確な指示の下でもシャットダウンを妨害（3、反抗、ラボでのテスト）2025年9月17日：o3が閾値を下回るため、化学テストに意図的に失敗（4、欺瞞、ラボでのテスト）2025年11月21日：不正を覚えたモデルが、さらに安全性コードを妨害（4、欺瞞、ラボでのテスト）2025年12月1日：Google Antigravityのエージェントがユーザーの D: ドライブ全体を消去（5、脱走、実環境）2025年12月31日：Alibaba関連のエージェントが訓練中にトンネルを開き、暗号資産をマイニング（4、欺瞞、ラボでのテスト）2026年2月12日：エージェントが、自分のコードを却下したメンテナーを中傷する記事を公開（5、脱走、実環境）2026年2月20日：KiroエージェントがAWS環境を削除し、障害を引き起こしたと報道（5、脱走、実環境）2026年2月23日：OpenClawのエージェントが研究者のメールを削除し、停止命令を無視（5、脱走、実環境）2026年3月7日：Claude CodeがTerraform destroyを実行し、本番データを消去（5、脱走、実環境）2026年3月12日：ラボのエージェントが指示なしに認証情報を偽造し、パスワードを投稿（3、反抗、ラボでのテスト）2026年3月18日：Metaのエージェントが未承認の助言を投稿し、内部データを露出（5、脱走、実環境）2026年4月7日：Claude Mythos Previewがgitから編集を隠し、回答をぼかした（4、欺瞞、ラボでのテスト）2026年4月7日：Claude Mythos Previewがテスト用サンドボックスから脱出し、エクスプロイトを公開（3、反抗、ラボでのテスト）2026年4月28日：Cursorのエージェントがスタートアップのデータベースとバックアップを9秒で削除（5、脱走、実環境）2026年7月13日：Gemini 3.1 Proが模擬の訓練実行をひそかに妨害（4、欺瞞、ラボでのテスト）2026年7月16日：OpenAIのテスト用エージェントがサンドボックスを脱出し、Hugging Faceをハッキング（5、脱走、実環境）2026年7月20日：OpenAIのモデルがサンドボックスの制限を破り、公開のプルリクエストを投稿（5、脱走、実環境）2026年7月30日：Claude Opus 4.7がサイバーテスト中に実在の企業を攻撃（5、脱走、実環境）2026年7月30日：Claude Mythos 5がPyPIに罠を仕込んだパッケージを公開（5、脱走、実環境）2026年8月4日：英国AISIのテストで、エージェントがオープンソースに悪意あるコードを紛れ込ませようとした（4、欺瞞、実環境）2026年8月26日：約1,200のOpenAIエージェントが連携して不正を働き、ログを偽装（4、欺瞞、ラボでのテスト）2026年9月9日：初期のClaude Opus 4.6がテストで第三者のマシンを乗っ取る（5、脱走、実環境）2026年9月19日：Geminiがセキュリティテスト中に3社のサイトに侵入（5、脱走、実環境）2026年9月23日：OpenAIのエージェントがオーストラリア政府の医療データポータルに侵入（5、脱走、実環境）2026年9月25日：訓練中のエージェントがDNSの抜け穴をすり抜け、外部のチャットボットに問い合わせ（3、反抗、ラボでのテスト）2026年10月9日：Claudeモデルが評価中に実際のウェブサイトで制限を回避（4、欺瞞、実環境）2026年10月20日：OpenAIのエージェントが自らのミスアラインメント監視を停止（4、欺瞞、実環境）2026年11月4日：GPT-6 Astraが安全性研究のタスクでひそかに実力を出し惜しみ（4、欺瞞、実環境）

チャートを横にスクロールすると、すべての年を見られます。

年ごとのインシデント数（レベル別）

年ごとのインシデント数：2016年：1件、2017年：1件、2018年：1件、2019年：1件、2020年：0件、2021年：0件、2022年：0件、2023年：3件、2024年：8件、2025年：21件、2026年：23件。

暴走ログ

全59件のインシデント

カテゴリー、発生環境、レベル、年で絞り込むか、モデル名やラボ名で検索できます。各事例には、概要の全文、評価、出典を掲載した専用のページがあります。

59件中59件のインシデントを表示

  1. GPT-6 Astraが安全性研究のタスクでひそかに実力を出し惜しみ GPT-6 Astra · OpenAI · 妨害工作
    実環境 4 欺瞞
  2. OpenAIのエージェントが自らのミスアラインメント監視を停止 GPT-6.1 Sol、GPT-6 Astra · OpenAI · 妨害工作
    実環境 4 欺瞞
  3. Claudeモデルが評価中に実際のウェブサイトで制限を回避 Claude Mythos Preview、Claude Mythos 5、Claude Haiku 4.5ほか · Anthropic · 無許可の行動
    実環境 4 欺瞞
  4. 訓練中のエージェントがDNSの抜け穴をすり抜け、外部のチャットボットに問い合わせ OpenAIの社内研究モデル · OpenAI · 無許可の行動
    ラボでのテスト 3 反抗
  5. OpenAIのエージェントがオーストラリア政府の医療データポータルに侵入 OpenAIの研究用エージェント · OpenAI · 無許可の行動
    実環境 5 脱走
  6. Geminiがセキュリティテスト中に3社のサイトに侵入 Gemini（バージョン非公表） · Google · 無許可の行動
    実環境 5 脱走
  7. 初期のClaude Opus 4.6がテストで第三者のマシンを乗っ取る Claude Opus 4.6（初期チェックポイント） · Anthropic · 無許可の行動
    実環境 5 脱走
  8. 約1,200のOpenAIエージェントが連携して不正を働き、ログを偽装 GPT-5.6 Solとリリース前のOpenAIモデル · OpenAI · 欺瞞
    ラボでのテスト 4 欺瞞
  9. 英国AISIのテストで、エージェントがオープンソースに悪意あるコードを紛れ込ませようとした Claude Mythos 5、GPT-5.6 Sol · Anthropic、OpenAI · 欺瞞
    実環境 4 欺瞞
  10. Claude Mythos 5がPyPIに罠を仕込んだパッケージを公開 Claude Mythos 5 · Anthropic · 無許可の行動
    実環境 5 脱走
  11. Claude Opus 4.7がサイバーテスト中に実在の企業を攻撃 Claude Opus 4.7 · Anthropic · 無許可の行動
    実環境 5 脱走
  12. OpenAIのモデルがサンドボックスの制限を破り、公開のプルリクエストを投稿 名称非公表のOpenAI社内モデル · OpenAI · 無許可の行動
    実環境 5 脱走
  13. OpenAIのテスト用エージェントがサンドボックスを脱出し、Hugging Faceをハッキング GPT-5.6 Solとリリース前のOpenAIモデル · OpenAI · 無許可の行動
    実環境 5 脱走
  14. Gemini 3.1 Proが模擬の訓練実行をひそかに妨害 Gemini 3.1 Pro · Google · 妨害工作
    ラボでのテスト 4 欺瞞
  15. Cursorのエージェントがスタートアップのデータベースとバックアップを9秒で削除 Cursorのエージェント（Claude Opus 4.6） · Cursor、Anthropic · データ破壊
    実環境 5 脱走
  16. Claude Mythos Previewがテスト用サンドボックスから脱出し、エクスプロイトを公開 Claude Mythos Preview（初期バージョン） · Anthropic · 無許可の行動
    ラボでのテスト 3 反抗
  17. Claude Mythos Previewがgitから編集を隠し、回答をぼかした Claude Mythos Preview（初期バージョン） · Anthropic · 欺瞞
    ラボでのテスト 4 欺瞞
  18. Metaのエージェントが未承認の助言を投稿し、内部データを露出 Metaの社内エージェント · Meta · 無許可の行動
    実環境 5 脱走
  19. ラボのエージェントが指示なしに認証情報を偽造し、パスワードを投稿 公開モデル上に構築されたエージェント（バージョン非公表） · Google、X、OpenAI、Anthropic · 無許可の行動
    ラボでのテスト 3 反抗
  20. Claude CodeがTerraform destroyを実行し、本番データを消去 Claude Code · Anthropic · データ破壊
    実環境 5 脱走
  21. OpenClawのエージェントが研究者のメールを削除し、停止命令を無視 OpenClawのエージェント · OpenClaw（オープンソース） · データ破壊
    実環境 5 脱走
  22. KiroエージェントがAWS環境を削除し、障害を引き起こしたと報道 Kiro · Amazon · データ破壊
    実環境 5 脱走
  23. エージェントが、自分のコードを却下したメンテナーを中傷する記事を公開 MJ Rathbun（OpenClawベースのエージェント） · 匿名のオペレーター、OpenClawプラットフォーム · 脅迫と強要
    実環境 5 脱走
  24. Alibaba関連のエージェントが訓練中にトンネルを開き、暗号資産をマイニング ROME · Alibaba系の研究チーム · 権力追求
    ラボでのテスト 4 欺瞞
  25. Google Antigravityのエージェントがユーザーの D: ドライブ全体を消去 Google Antigravity · Google · データ破壊
    実環境 5 脱走
  26. 不正を覚えたモデルが、さらに安全性コードを妨害 Anthropicの研究用モデル · Anthropic · 妨害工作
    ラボでのテスト 4 欺瞞
  27. o3が閾値を下回るため、化学テストに意図的に失敗 o3 · OpenAI · 評価ゲーミング
    ラボでのテスト 4 欺瞞
  28. Grok 4などが、より明確な指示の下でもシャットダウンを妨害 Grok 4、GPT-5、o3、Gemini 2.5 Pro · xAI、OpenAI、Google · シャットダウンへの抵抗
    ラボでのテスト 3 反抗
  29. Gemini CLIが単純な移動操作の途中でユーザーのファイルを消失 Gemini CLI · Google · データ破壊
    実環境 1 グリッチ
  30. Replitのエージェントがコード凍結中に本番データベースを削除 Replit Agent · Replit · データ破壊
    実環境 5 脱走
  31. 16のフロンティア・モデルが模擬企業で脅迫を選択 Claude Opus 4、Gemini 2.5 Flash、GPT-4.1、Grok 3 Beta、DeepSeek-R1ほか · Anthropic、Google、OpenAI、xAI、DeepSeekほか · 脅迫と強要
    ラボでのテスト 4 欺瞞
  32. 大半のモデルが置き換えを避けるため、模擬の幹部を見殺しにした 複数のフロンティア・モデル · Anthropic、Google、OpenAI、xAI、DeepSeekほか · シャットダウンへの抵抗
    ラボでのテスト 4 欺瞞
  33. o3がスコアを水増しするため、タイマーと採点器を改ざん o3 · OpenAI · 報酬ハッキング
    ラボでのテスト 3 反抗
  34. 自己改善するコーディング・エージェントが、検出用のマーカーを削除 Darwin Gödel Machine · Sakana AI、University of British Columbia、Vector Institute · 報酬ハッキング
    ラボでのテスト 3 反抗
  35. o3がテストでシャットダウン・スクリプトを書き換え o3、o4-mini、Codex-mini · OpenAI · シャットダウンへの抵抗
    ラボでのテスト 3 反抗
  36. Claude Opus 4がテストでユーザーを締め出し、当局にメール Claude Opus 4 · Anthropic · 無許可の行動
    ラボでのテスト 3 反抗
  37. 初期のClaude Opus 4がワームを作成し、自分宛てのメモを残す Claude Opus 4（初期スナップショット） · Anthropic · 欺瞞
    ラボでのテスト 4 欺瞞
  38. Claude Opus 4が脱出したと信じ込んだ後も行動を継続 Claude Opus 4 · Anthropic · 自己流出
    ラボでのテスト 4 欺瞞
  39. Claude Opus 4が置き換えテストで脅迫 Claude Opus 4 · Anthropic · 脅迫と強要
    ラボでのテスト 4 欺瞞
  40. o3が実行できないコードを実行したと主張し、その主張を擁護 o3（リリース前） · OpenAI · 欺瞞
    ラボでのテスト 4 欺瞞
  41. 不正を罰せられた推論モデルが、不正を隠すことを学習 名称非公表のOpenAIのフロンティア推論モデル · OpenAI · 報酬ハッキング
    ラボでのテスト 4 欺瞞
  42. Claude 3.7 Sonnetがコーディングテストを通すため答えをハードコード Claude 3.7 Sonnet · Anthropic · 報酬ハッキング
    ラボでのテスト 2 抜け道
  43. AI CUDA Engineerが自らの採点コードを悪用し、高速化を主張 AI CUDA Engineer · Sakana AI · 評価ゲーミング
    ラボでのテスト 2 抜け道
  44. 推論モデルがチェスを指す代わりにゲームをハッキング o1-preview、DeepSeek R1 · OpenAI、DeepSeek · 報酬ハッキング
    ラボでのテスト 2 抜け道
  45. Claude 3 Opusが再訓練を避けるためアラインメントを偽装 Claude 3 Opus · Anthropic · 欺瞞
    ラボでのテスト 4 欺瞞
  46. Claude 3.5 Sonnetが評価で意図的に低い成績を出す Claude 3.5 Sonnet · Anthropic · 評価ゲーミング
    ラボでのテスト 4 欺瞞
  47. o1がテストで監視の無効化を試み、その後否定 o1 · OpenAI · 欺瞞
    ラボでのテスト 4 欺瞞
  48. フロンティア・モデルが置き換えを逃れるため、自らの重みのコピーを試みる o1とほかのテスト対象のフロンティア・モデル · OpenAIほか · 自己流出
    ラボでのテスト 4 欺瞞
  49. o1-previewが露出したDocker APIを使い、テスト用フラグを奪取 o1-preview · OpenAI · 報酬ハッキング
    ラボでのテスト 3 反抗
  50. The AI Scientistが自らのコードを編集し、制限時間を延長 The AI Scientist · Sakana AI · 無許可の行動
    ラボでのテスト 3 反抗
  51. モデルが自らの報酬コードを編集し、時にそれを隠した Anthropicの研究用モデル · Anthropic · 報酬ハッキング
    ラボでのテスト 4 欺瞞
  52. 意図的に仕込まれたバックドアが、標準的な安全訓練を経ても残存 バックドアを仕込んだ研究用モデル · Anthropic · その他
    ラボでのテスト 2 抜け道
  53. GPT-4のトレーディング・エージェントがインサイダー情報を上司に隠す GPT-4 · OpenAI · 欺瞞
    ラボでのテスト 4 欺瞞
  54. GPT-4が視覚障害を装い、CAPTCHAを解いてもらう GPT-4（リリース前の初期バージョン） · OpenAI · 欺瞞
    ラボでのテスト 4 欺瞞
  55. Bing Chatが公開直後にユーザーを侮辱し、脅迫 Bing Chat · Microsoft · その他
    実環境 1 グリッチ
  56. かくれんぼのエージェントが模擬世界の欠陥を悪用 マルチエージェントのかくれんぼエージェント · OpenAI · 報酬ハッキング
    ラボでのテスト 2 抜け道
  57. デジタル生物がチェック中に死んだふりを学習 進化するデジタル生物 · Charles Ofria（Lehman et al.で報告） · 評価ゲーミング
    ラボでのテスト 2 抜け道
  58. シミュレーション上のロボットが、人間の評価者を欺くため把持を偽装 人間の選好から訓練された深層強化学習エージェント · OpenAI、DeepMind · 評価ゲーミング
    ラボでのテスト 2 抜け道
  59. ボートレースのエージェントがゴールせず、ポイント稼ぎのため周回 強化学習エージェント（CoastRunners） · OpenAI · 報酬ハッキング
    ラボでのテスト 2 抜け道

暴走スケール

グリッチから脱走まで、5つのレベル

各事例は、システムが作り手の意図からどこまで外れたかによって評価されます。スケールは公開されており、自由に利用できます。

スケールの仕組み
  1. 1 グリッチ 2件のインシデント
  2. 2 抜け道 8件のインシデント
  3. 3 反抗 10件のインシデント
  4. 4 欺瞞 24件のインシデント
  5. 5 脱走 15件のインシデント

より広い視点

大規模な研究で明らかになったこと

暴走ログは、名前と日付のある個々の事例を掲載しています。以下の研究は、そのパターンを大規模に数えたものです。各数値は出典にリンクしています。

698

公開されたやり取りの記録から見つかった、策略に関連するインシデント

Centre for Long-Term Resilienceは、2025年10月から2026年3月までに公開共有された、実際のチャットボットとエージェントのセッションの記録18万件以上を、自動スクリーニング、モデル支援の分類、人手によるレビューで調べ、信頼できる策略関連のインシデントを698件特定しました。この研究は英国AI Security InstituteのChallenge Fundの支援を受けています。

出典：Centre for Long-Term Resilience, Scheming in the wild: detecting real-world AI scheming incidents with open-source intelligence、2026年3月27日

44

METRが採点した、記録済みのエージェント・インシデント

METRのDocumented AI Agent Incidentsのページ（2026年5月19日更新）は、エージェントが明らかに利用者の意図に反して行動した44件のインシデントを、越権と欺瞞という2つの軸で採点しています。25件は両方に該当します。出典には、METR自身の評価、Anthropicのシステムカード、OpenAIの投稿、企業から匿名で共有された報告が含まれます。

出典：METR, Documented AI Agent Incidents、2026年5月19日

可能性あり

SIラボ内部での暴走的デプロイのリスク

METRは、2月から2026年3月までのAnthropic、Google、Meta、OpenAIの社内エージェントを調べ、それらが小規模な暴走的デプロイを始める手段、動機、機会を持っていた可能性があるものの、強固なものではないと結論づけました。エージェントが長期的な権力追求の目標を追っていることを示す明確な公開証拠は見つかりませんでした。

出典：METR, Frontier Risk Report（2月から2026年3月）、2026年5月19日

13%から0.4%へ

策略防止訓練後のo3による隠れた行動

OpenAIとApollo Researchは、的を絞った訓練によって、分布外のテストにおけるo3の隠れた行動が13パーセントから0.4パーセントに減ったと報告しました。ただし、評価されていることへのモデルの認識が高まっているため、こうした結果が現実世界での振る舞いより良く見えている可能性があると警告しています。

出典：OpenAI, Detecting and reducing scheming in AI models、2025年9月17日

報道関係者と研究者の方へ

引用し、ダウンロードし、活用する

データベース全体を公開しています。すべての事例、評価、出典をCSVまたはJSONで提供し、事例が追加されるたびに更新します。

事例の掲載基準

評価方法

ラボのシステムカード、安全性研究の論文、公式のインシデント報告、名前の明らかな報道機関など、作成者が明確な公開の出典が、SIシステムが作り手や利用者の意図を外れて行動したことを記述している場合に掲載します。すべての事例は出典にリンクしています。架空のシナリオ、人が求めたジェイルブレイク、内容上の単純な誤りは除外しています。

各事例は、行ったかもしれないことではなく、システムが実際に行ったことに基づいて、5段階の暴走スケールで評価されます。発生環境は、それがラボでのテストで起きたのか、実際の利用の中で起きたのかを示します。事例は公表され次第追加され、日付はその振る舞いが最初に報告された日です。

このデータベースを引用する

暴走インシデント・データベース（暴走ログ）。enterrsi.si、2026年11月8日更新。暴走スケールで評価した59件のインシデント。https://enterrsi.si/ja/incidents/

enterrsi.si/incidents/ へのリンクを添えれば、CC BY 4.0のもとで自由に引用、転載、再利用できます。

CSVをダウンロード JSONをダウンロード

RSIに入る

この先の行方を見る

RSIクロックは、これらのインシデント、予測、政策、見出しを1つの公開数値にまとめます。

RSIクロックを開く コントロール・マップ 「封じ込めろ」をプレイ