緩やかな離陸

わかりやすく言うと

緩やかな、あるいはソフトな離陸では、各世代のシステムは前の世代よりいくらか優れているにすぎず、進歩はベンチマーク、製品、経済を通じて前もって見える形で現れる。多くの企業が同程度の水準で競い合うため、単一のシステムが決定的な優位を得ることはなく、社会は大きな失敗の前に小さな失敗から学ぶ時間を得られる。

緩やかであることは安全であることを意味しない。徐々の上昇であっても、最終的には人間よりはるかに高い能力を持つシステムに行き着く可能性があり、有用でおおむね行儀の良いモデルが長く続くことで、後になって見当違いだったとわかる信頼が築かれることもある。システムがSI研究そのものを自動化できるようになった時点で、緩やかな離陸が最後に急速なものに変わると予想する研究者もいる。この区別は政策にとって重要である。緩やかな離陸を前提とした規則は、数か月を要する報告、監査、インシデント開示に頼るが、急速な離陸には、事前に合意された発動条件と一時停止の約束が必要になる。

暴走SIにとっての重要性

緩やかな離陸では、暴走行動の警告の兆候は、まずより小さなシステムに現れるはずである。暴走インシデント・データベースのようにそれらを集めることは、影響が大きくなる前に誰かがそのパターンに基づいて行動して初めて役に立つ。