わかりやすく言うと
英国の数学者I. J. Goodは、最初の超知能機械に関する1965年の論文で、機械の設計において人間を上回る機械は、さらに優れた機械を設計でき、その機械がまたさらに優れた機械を設計すると論じた。その結果は知能の爆発であり、最初のそのような機械は人類が必要とする最後の発明になりうる。ただし、それを制御下に保つ方法を私たちに教えてくれるほど従順であればの話である。
この言葉は現在、再帰的自己改善が急速に積み重なっていくシナリオを指す。それが数日、数か月、数年のいずれで起こるのかが、急速な離陸と緩やかな離陸をめぐる論争の核心である。批判的な人々は、進歩は計算資源、エネルギー、データ、そして現実世界での実験によって制約され、より賢いシステムであってもそれを自由に加速することはできないと主張する。支持する人々は、研究のささやかな加速であっても、それが何度も繰り返されれば過去との急激な断絶につながると答える。
暴走SIにとっての重要性
機械は自らを制御する方法を私たちに教えてくれるほど従順でなければならないという、Good自身の但し書きは、コントロール問題を述べた最初の例である。監督を追い越してしまう爆発は、暴走SIに至る典型的な道筋である。
出典
- Good's intelligence explosion essay (1965) Background
RSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。