わかりやすく言うと
この言葉は、Nick Bostromの2014年の著書『Superintelligence』（邦題『スーパーインテリジェンス』）によって広く知られるようになった。問われているのは、人間を上回る思考力を持ち、安全策に気づき、目標が異なればそれを回避する方法を探しうるシステムに対して、人間がいかに意味のある制御を保てるかである。大きく分けて二つの戦略がある。能力制御は、システムを隔離し、アクセスを制限し、監視し、停止する手段を確保することで、システムにできることを制限する。動機の選択は、安全で修正可能であり続けたいと望むような目標をシステムに与えようとする。
現代のラボは両方を組み合わせている。アラインメント研究はシステムの動機を形づくり、制御研究はシステムがミスアラインメントを起こしている可能性を前提に、その場合でも機能する監視、サンドボックス化、人間によるレビューを設計する。どちらの手法も、人間を超える水準では実証されていない。そのため制御問題は、コードの問題であると同時に制度の問題でもある。誰が停止を命じられるのか、誰が確認するのか、そしてラボが続行するよう圧力を受けたときに何が起きるのか。
暴走SIにとっての重要性
暴走SIとは、制御問題に敗れた姿である。封じ込めボードは、制御の制度面からラボを評価している。シャットダウンに関する公約、外部テスト、そして従業員が警鐘を鳴らす自由である。
出典
- Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press
RSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。