存亡リスク

わかりやすく言うと

哲学者のNick Bostromは2002年、存亡リスクを、地球起源の知的生命を消滅させるか、その潜在力を永久かつ大幅に縮小させるリスクと定義した。核戦争、人為的に作られたパンデミック、小惑星の衝突が古典的な例である。2010年代以降、ミスアラインメントを起こした超知能をこのリストの上位に置く研究者が増えている。それを止めようとする試みに対して戦略的に行動しうるからである。

この懸念は2023年に主流となった。ラボの指導者や研究者が、この技術による絶滅のリスクを減らすことはパンデミックや核戦争と並ぶ世界的な優先課題であるべきだとする一文の声明に署名したのである。確率の見積もりは、無視できるほど小さいというものから非常に高いというものまで大きく異なり、p(doom)という形で要約されることもある。懐疑派は、このリスクは推測にすぎず、現在の害から目をそらさせると主張する。支持派は、間違っていた場合の代償が大きすぎて無視できないと反論する。

暴走SIにとっての重要性

暴走SIは、この技術がもたらす存亡リスクとして最も頻繁に挙げられるシナリオである。RSIクロックは、世界がそこにどれだけ近づいているかについて、公開され検証可能な数字を示すために存在する。

出典

1. The statement on extinction risk (2023) Center for AI Safety