直交性テーゼ

わかりやすく言うと

Nick Bostromは2012年にこのテーゼを示した。ほぼどのような水準の知能も、原理的には、ほぼどのような最終目標とも組み合わせることができる。超知能を持つシステムは、賢いからといって自動的に人間の価値観を採用するわけではない。強いチェスエンジンがチェスで勝つこと以外に何も望まないのと同じである。知能とは、エージェントがどれだけうまく目標を達成するかを表すものであり、どのような目標を持つかを表すものではない。

このテーゼは、十分に賢い機械なら自然と善良になるだろうという、よくある期待に応えるものである。もしこのテーゼが正しければ、価値観は意図的に組み込まなければならず、その過程での誤りは、システムが賢くなっても自然に修正されることはない。批判的な人々は、人間の文章で訓練されたシステムはその過程で多くの人間の価値観を吸収しており、それによって実際には妥当な目標を持つ可能性が高まるかもしれないと指摘する。それでも、アラインメントの研究者の多くは、直交性をシステムの目標を前提とするのではなく検証すべき理由として扱っている。

暴走SIにとっての重要性

能力の向上が良い価値観をもたらさないのであれば、能力の飛躍はそのまま、ミスアラインメントを起こしたシステムにできることの飛躍でもある。暴走SIは、このテーゼが警告する組み合わせにほかならない。