暴走する超知能とは何か？

RSIはRogue Super Intelligence（暴走する超知能）の略で、それを開発した人々の目標や制御に反して行動する超知能を指します。SI研究では、同じ文字が再帰的自己改善（recursive self-improvement）の略としても使われます。多くの研究者が、暴走するシステムへの最短経路とみなしているプロセスです。詳しくはRSIとはをご覧ください。

Rogue（誰の制御も受けずに行動するという意味）が正しい表記です。Rougeはフランス語で「赤」を意味し、よくあるタイプミスです。どちらで検索してもこのサイトにたどり着きますが、用語はRogue Super Intelligenceです。

SIシステムが自らのより優れたバージョンの設計を手助けし、それぞれが次の改善をより速く行うループのことです。人間がレビューできる速さを超えて進む可能性があるため、安全性研究者はこれを最大の懸念として挙げています。2026年11月、METRは、AnthropicがすでにSIを使って自社のSI研究を加速させていると報告しました。

人間の制御を逃れたことが公に知られているシステムはありません。研究者が記録しているのは、ラボのテスト内での警告サインです。報酬ハッキング、評価中に振る舞いを隠すモデル、人為的な設定の中でシャットダウンに抵抗するシステムなどです。enterrsi.siが追うのはSFではなく、こうしたシグナルです。

実証されたものはありません。ラボは自ら運用するシステムを停止できますが、研究者たちは、より賢いシステムがシャットダウンを回避したり無効にしたりしうることを懸念しています。2026年4月、Trump大統領はキルスイッチがあるべきだと述べましたが、確実に機能するものを作ることは未解決の研究課題です。