# 制御問題：意味と重要性

> 制御問題とは、人間より賢いシステムを、作った後も安全かつ操縦可能に保つという課題である。出典とともに、わかりやすい言葉で解説。

Source: https://enterrsi.si/ja/encyclopedia/control-problem/
Updated: 2026-11-08

1. [ホーム](https://enterrsi.si/ja/)
2. [百科事典](https://enterrsi.si/ja/encyclopedia/)
3. 制御問題

RSI百科事典 · 用語

# 制御問題

制御問題とは、人間より賢いシステムを、作り上げた後も安全で操縦可能な状態に保つという課題である。

カテゴリー
:   用語

別名
:   SI制御問題

暴走ログの事例
:   0

この用語を使う法律
:   0

## わかりやすく言うと

この言葉は、Nick Bostromの2014年の著書『Superintelligence』（邦題『スーパーインテリジェンス』）によって広く知られるようになった。問われているのは、人間を上回る思考力を持ち、安全策に気づき、目標が異なればそれを回避する方法を探しうるシステムに対して、人間がいかに意味のある制御を保てるかである。大きく分けて二つの戦略がある。能力制御は、システムを隔離し、アクセスを制限し、監視し、停止する手段を確保することで、システムにできることを制限する。動機の選択は、安全で修正可能であり続けたいと望むような目標をシステムに与えようとする。

現代のラボは両方を組み合わせている。アラインメント研究はシステムの動機を形づくり、制御研究はシステムがミスアラインメントを起こしている可能性を前提に、その場合でも機能する監視、サンドボックス化、人間によるレビューを設計する。どちらの手法も、人間を超える水準では実証されていない。そのため制御問題は、コードの問題であると同時に制度の問題でもある。誰が停止を命じられるのか、誰が確認するのか、そしてラボが続行するよう圧力を受けたときに何が起きるのか。

## 暴走SIにとっての重要性

暴走SIとは、制御問題に敗れた姿である。封じ込めボードは、制御の制度面からラボを評価している。シャットダウンに関する公約、外部テスト、そして従業員が警鐘を鳴らす自由である。

## 出典

1. [Superintelligence: Paths, Dangers, Strategies (2014)](https://global.oup.com/academic/product/superintelligence-9780199678112) Oxford University Press

この用語

用語
:   制御問題

別名
:   SI制御問題

カテゴリー
:   用語

関連用語
:   5

関連用語

[封じ込め **用語**](https://enterrsi.si/ja/encyclopedia/containment/)[キルスイッチ **用語**](https://enterrsi.si/ja/encyclopedia/kill-switch/)[修正可能性 **用語**](https://enterrsi.si/ja/encyclopedia/corrigibility/)[アラインメント **用語**](https://enterrsi.si/ja/encyclopedia/alignment/)[一時停止の約束 **用語**](https://enterrsi.si/ja/encyclopedia/pause-commitment/)

この項目を引用する

「制御問題」『RSI百科事典』enterrsi.si、2026年11月8日。https://enterrsi.si/ja/encyclopedia/control-problem/

enterrsi.siへのリンクを添えれば、CC BY 4.0のもとで自由に引用できます。

RSI百科事典

## さらに読む

暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。

[前の用語 封じ込め](https://enterrsi.si/ja/encyclopedia/containment/)[次の用語 修正可能性](https://enterrsi.si/ja/encyclopedia/corrigibility/)

RSIに入る

## あらゆる用語、ラボ、モデル、法律

AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。

[百科事典を開く](https://enterrsi.si/ja/encyclopedia/)
[インシデント・データベース](https://enterrsi.si/ja/incidents/)
[封じ込めボード](https://enterrsi.si/ja/containment-board/)