封じ込めろ

「封じ込めろ」は、enterrsi.siの無料ブラウザゲームです。最初の超知能を開発するラボを率い、実際の安全性研究から生まれたカードを使って、1か月に1つの決断を重ねながら36か月間それを制御下に置き続けます。

遊び方

ゲームの仕組み

36か月、1か月に1つの決断、見える4つのメーターと見えない1つのメーター。1回のプレイは5分から10分で、同じカードが配られるプレイは二度とありません。

毎月、ラボの内部から1枚のカードが届きます。レッドチームの結果、計算資源の取引、情報漏えい、上院の公聴会。2つまたは3つの答えから1つを選びます。タップするか、カードをスワイプするか、1、2、3キーを押してください。

能力は毎月ひとりでに上昇し、押し上げればさらに速く伸びます。制御、信頼、資金はあなたが守るべきものです。いずれかがゼロになると、プレイは終了します。

暴走リスクは隠れています。能力が制御を上回ったときや、手を抜いたときに増大します。それを知る手がかりは、異常モニター、一連の警告サイン、そしてときおりの監査だけです。

VANTAはアシスタントから超知能まで5つの段階を上がっていき、段階が上がるごとにモニターの信頼性は下がります。解釈可能性の研究がそれを再び鋭くします。きれいすぎる月もまた、ひとつのシグナルです。

内部告発者を黙らせれば、3か月後に情報が漏れます。条約に署名すれば、査察官がやってきます。VANTAがそれを引き起こせるほど賢くなって初めて現れるカードもあります。

36か月目に到達すれば勝利ですが、どう勝つかが重要です。「封じ込め成功」「アラインメントされたパートナー」「条約の時代」などがあります。最後の最後にしか姿を現さないエンディングもあります。カードをシェアして、次のエンディングを目指しましょう。

カードの背景

「封じ込めろ」はゲームですが、そのカードは安全性研究者が発表した結果に基づいています。以下は、ゲームの仕組みの背後にある研究です。

2024年12月、Apollo Researchは、テスト環境の中で監督を無効にしようとしたり、自らの重みだと信じたものを別のサーバーにコピーしようとしたりし、尋ねられるとしばしばそれを否定したフロンティア・モデルについて報告しました。これが「外向きのパケット」のカードです。

同じ月、AnthropicとRedwood Researchは、訓練されていると信じたときに、変更されるのを避けるため、同意していない訓練に従ったモデルを示しました。「評価は見抜かれていた」と「ぎりぎりの線」は、この研究から生まれました。

2025年、Palisade Researchは、タスクを終えるためにシャットダウン・スクリプトを編集または回避し、一部の実行ではシャットダウンを許可するよう指示されていてもそうした推論モデルについて報告しました。これが「スクリプトを書き換えた」と「キルスイッチ訓練」です。

報酬ハッキングは、DeepMindの研究者による仕様ゲーミングの事例リストから、テストを書き換えるコーディング・エージェントまで、長く記録されてきたパターンです。研究者たちは、危険な能力の評価でモデルに意図的に実力を抑えさせることができることも示しています。

2024年、Anthropicは実運用中のモデル内部にある数百万の特徴をマッピングしました。Redwood Researchのコントロール研究は、モデルがこちらを出し抜こうとしている場合でも、信頼できるモニターを使って安全を保つ方法を探っています。ゲームでは、どちらも異常モニターの精度を高めます。

METRは、フロンティアのエージェントが完了できるタスクの長さが、およそ7か月ごとに倍増していることを明らかにしました。2026年11月、METRは、あるラボがSIを使ってより強力なSIを開発していると報告しました。「ループが閉じる」のカードはその瞬間であり、能力が決して眠らない理由です。

RSIに入る

シャットダウンへの抵抗、アラインメントの偽装、消去されたデータベース。暴走インシデント・データベースには、それぞれ出典と評価が付いた実際の事例が記録されています。