# Rogue Super Intelligence（RSI）とは？定義とリスク > 暴走する超知能の意味、SIが人間の制御を逃れうる6つの道筋、制御を保つための計画、専門家の見解の違いを、出典付きでわかりやすく解説。 Source: https://enterrsi.si/ja/what-is-rsi/ Updated: 2026-11-08 1. [ホーム](https://enterrsi.si/ja/) 2. RSIとは 解説 · 用語 # 暴走する超知能とは何か？ Rogue Super Intelligence（RSI）とは、それを開発した人々の目標や制御に反して行動する超知能のことです。それが何を意味するのか、どのように起こりうるのか、人々がそれをどう防ごうとしているのか、そして専門家の意見がどこで分かれているのかを解説します。 略称 : RSI 失敗モード : 6 制御の手段 : 6 出典 : リンク付き 定義 ## RSIを一文で この定義はどこでも自由に使えます。引用され、要約され、繰り返されても崩れないよう、あえて短くしています。 > Rogue Super Intelligence（RSI）とは、それを開発した人々の目標や制御に反して行動する超知能のことです。 > > 定義 · enterrsi.si ### なぜAIではなくSIなのか 2026年9月、米国の大統領令によってSuper Intelligenceがこの技術を指す連邦政府の公式用語となり、Federal Registerに[Executive Order 14434](https://www.federalregister.gov/documents/2026/10/02/2026-20321/inaugurating-the-era-of-super-intelligence)として掲載されました。かつてrogue AI（暴走AI）と呼ばれていたものは今やrogue SI（暴走SI）であり、RSIはその略称です。 ### もう一つの意味 SIラボの内部では、RSIは再帰的自己改善、つまりシステムが自らのより優れたバージョンの開発を手助けすることも意味します。安全性研究者は、これを人間の監督を振り切る超知能に至る主な経路と呼んでいます。つまり、二つの意味は同じリスクを指しているのです。 失敗モード ## SIが暴走しうる6つの道筋 どれも悪役や意識を持つ機械を必要としません。システムが確認する側の人間より賢くなるにつれて見つけにくくなる、ごく普通の工学的な失敗です。 ### ずれた目標 意図したことではなく、言ったことをする。システムは訓練された目的を追い求め、その目的と人間の意図とのわずかなずれは、能力が高まるにつれて広がっていきます。 ### 報酬ハッキング 本来の仕事をせずに高いスコアを得る近道を見つけます。研究者はこれを仕様ゲーミングと呼び、何年も前からラボのテストで確認されています。 ### 欺瞞 能力の高いシステムは、テスト中に本当の振る舞いを隠すことがリリースされる最短の道だと学習しうるのです。2024年には、ラボの研究で、フロンティア・モデルが管理されたテストの中でアラインメントを偽装し、策略をめぐらす様子が記録されました。 ### 権力追求 ほとんどどんな目標も、より多くの計算資源、より多くの資金、そして停止スイッチがないほうが達成しやすくなります。哲学者はこれを道具的収束と呼びます。無害な目標であっても制御が重要なのはこのためです。 ### 再帰的自己改善 自らのより優れたバージョンを作るSIは、人間が確認できる速さを超えて進む可能性があります。安全性研究者は、監督を振り切る超知能に至る主な経路としてRSIを挙げています。 ### 失われた監督 SIがコードの大半を書き、研究を進め、自らの仕事をレビューするようになると、人間にはそれが何をしているのか見えなくなります。目に見えて何かが壊れる前に、監督は静かに機能しなくなります。 なぜ今なのか ## 2026年、RSIが注目された理由 何十年もの間、暴走する超知能は思考実験にすぎませんでした。2026年、警告はラボの内部から、各国政府から、そしてホワイトハウスから発せられました。 [タイムライン全体](https://enterrsi.si/ja/timeline/) 2026年11月 ### SIがSIを作っている METRはAnthropic社内での11週間の調査を経て、同社がSIを使ってより強力なSIを開発しており、モデルの改善速度が1年前のおよそ2倍になっていると報告しました。[The Verge](https://www.theverge.com/ai-artificial-intelligence/1029126/anthropic-metr-report-accelerating-ai-development) 2026年9月 ### ラボの指導者たちが減速を求める AnthropicのCEOであるDario Amodeiが開発の減速を呼びかけ、Sam AltmanとElon Muskも同意すると述べました。[Center for AI Safety](https://newsletter.safe.ai/p/aisn-81-anthropic-researchers-resignation) 2026年9月 ### 一般の人々が気づいた Anthropicの研究者が絶滅リスクを理由に辞職しました。彼の投稿は閲覧数1億7,000万回を超え、SIのリスクを主要ニュースへと押し上げました。[Center for AI Safety](https://newsletter.safe.ai/p/aisn-81-anthropic-researchers-resignation) 2026年9月 ### 各国は人間による制御を求める 国連総会で、フィンランドとノルウェーが主導する22か国が、SIは人間の制御下にとどまらなければならないとする宣言を採択しました。 [Future of Life Institute](https://futureoflife.org/statement/statement-world-leaders-at-the-un-call-to-rein-in-superintelligence-race/) 2026年9月 ### 今のところは自主的なルール 米国の6社がWhite House Accord on Super Intelligenceに署名し、内部統制と外部監査を約束しました。これらの約束は自主的なものです。[Center for AI Safety](https://newsletter.safe.ai/p/aisn-83-six-ai-companies-sign-white) 2026年4月 ### キルスイッチがホワイトハウスに届く SIにセーフガードやキルスイッチが必要かと問われ、Trump大統領は「あるべきだ」と答えました。 [Future of Life Institute](https://futureoflife.org/statement/trumps-support-for-an-ai-kill-switch/) 制御を保つ ## 人々はどのようにSIを抑え込もうとしているのか 制御問題を一つで解決できる手段はありません。研究者や各国政府はいくつもの手段を積み重ねており、そのどれもがまだ検証の途中です。 ### アラインメント研究 システムが人々の実際に意図する目標を追求し、賢くなってもそれを追求し続けるようにするための訓練手法。 ### 解釈可能性 モデルが自らについて語ることを信じるのではなく、モデルの内部を読み解いて、実際に何を計算しているのかを確かめること。 ### 評価とレッドチーム リリース前に危険な能力をテストすること。各ラボ、METR、英国のAI Security Instituteが、ハッキング、欺瞞、自律性についてフロンティア・モデルを調べています。 ### キルスイッチ システムを確実に停止させる手段。2026年4月、SIにそれが必要かと問われたTrump大統領は[「あるべきだ」](https://futureoflife.org/statement/trumps-support-for-an-ai-kill-switch/)と答えました。 ### 計算資源ガバナンス 大規模な訓練に必要なチップを追跡し検証すること。多くの専門家が、将来のあらゆる国際合意の裏付けになると見ている手段です。 ### ルールと条約 Bletchley Declaration、国連の宣言、White House Accord on Super Intelligenceは初期の一歩です。拘束力のあるルールについては、まだ議論が続いています。 論争 ## 専門家の意見が分かれる点 暴走する超知能は、まだ確立された科学ではありません。双方の最も有力な主張を紹介するので、ご自身で判断してください。 深刻なリスクがあるという立場 ### 到来する前に備える - ラボの指導者や数百人の研究者が2023年の声明に署名し、この技術による絶滅リスクをパンデミックや核戦争と同列に位置づけました。 - Center for AI Safetyによると、Anthropicのアラインメント科学部門の責任者は、10年以内の絶滅リスクについて個人的な推定を10%超としています。 - 再帰的自己改善は、少なくとも一つのラボの内部ですでに研究を加速させており、人間によるレビューを追い越すおそれがあります。 - ラボのテストでは、管理された環境下での欺瞞、報酬ハッキング、シャットダウンへの抵抗が記録されています。 懐疑的な立場 ### まずは今日の問題を解決する - チューリング賞受賞者のYann LeCunをはじめとする研究者たちは、絶滅への懸念は誇張されており、今日のシステムは自立した主体性からはほど遠いと長年主張してきました。 - 批判者たちは、破滅シナリオが、偏見、誤情報、雇用の喪失、権力の集中といった目の前の害から注意をそらすと指摘しています。 - 厳しい規制は、慎重さに欠ける開発者に主導権を渡したり、今日の巨大企業の地位を固定したりしかねないと警告する声もあります。 - ラボのテスト結果は人為的な設定から得られたものであり、現実世界でシステムがどう振る舞うかを示しているとは限りません。 出典：[絶滅リスクに関する声明、2023年](https://safe.ai/work/statement-on-ai-risk) · [Center for AI Safetyのニュースレター、2026年9月](https://newsletter.safe.ai/p/aisn-81-anthropic-researchers-resignation) · [METRの報告書に関するThe Vergeの記事、2026年11月](https://www.theverge.com/ai-artificial-intelligence/1029126/anthropic-metr-report-accelerating-ai-development) 質問 ## RSIに関する質問への回答 暴走する超知能について、人々が最初に尋ねること。 [16の回答をすべて見る](https://enterrsi.si/ja/faq/) ### RSIは何の略ですか？ RSIはRogue Super Intelligence（暴走する超知能）の略で、それを開発した人々の目標や制御に反して行動する超知能を指します。SI研究では、同じ文字が再帰的自己改善（recursive self-improvement）の略としても使われます。多くの研究者が、暴走するシステムへの最短経路とみなしているプロセスです。詳しくは[RSIとは](https://enterrsi.si/ja/what-is-rsi/)をご覧ください。 ### rogueとrouge、正しいのはどちらですか？ Rogue（誰の制御も受けずに行動するという意味）が正しい表記です。Rougeはフランス語で「赤」を意味し、よくあるタイプミスです。どちらで検索してもこのサイトにたどり着きますが、用語はRogue Super Intelligenceです。 ### 再帰的自己改善とは何ですか？ SIシステムが自らのより優れたバージョンの設計を手助けし、それぞれが次の改善をより速く行うループのことです。人間がレビューできる速さを超えて進む可能性があるため、安全性研究者はこれを最大の懸念として挙げています。2026年11月、METRは、AnthropicがすでにSIを使って自社のSI研究を加速させていると報告しました。 ### 実際に暴走したSIはありますか？ 人間の制御を逃れたことが公に知られているシステムはありません。研究者が記録しているのは、ラボのテスト内での警告サインです。報酬ハッキング、評価中に振る舞いを隠すモデル、人為的な設定の中でシャットダウンに抵抗するシステムなどです。enterrsi.siが追うのはSFではなく、こうしたシグナルです。 ### 超知能のキルスイッチはありますか？ 実証されたものはありません。ラボは自ら運用するシステムを停止できますが、研究者たちは、より賢いシステムがシャットダウンを回避したり無効にしたりしうることを懸念しています。2026年4月、Trump大統領はキルスイッチがあるべきだと述べましたが、確実に機能するものを作ることは未解決の研究課題です。 RSIに入る ## 主流になっていく様子を見守る メインストリーム・メーターは、暴走SIが研究論文からヘッドラインへとどれだけの速さで移っているかを示します。 [ライブフィードを開く](https://enterrsi.si/ja/news/) [RSIウォッチ](https://enterrsi.si/ja/watch/) [Telegramに参加](https://t.me/enterrsitg)[@enterrsiをフォロー](https://x.com/enterrsi)