Bostromのペーパークリップ最大化装置（2003年）

何が起きたか

Nick Bostromは、ペーパークリップを作るといった無害な目標であっても、超知能が追求すれば破局に至りうることを示しました。

なぜ重要か

この例は高度な機械知能の倫理に関する論文のごく一部だったが、ミスアラインメントを起こした超知能の最もよく知られた姿となった。悪意はなく、ただ限度なく追求される目標があるだけである。

出典

1. Bostrom, 2003

タイムライン上で

この出来事は、1950年からSIがSIを作る時代までを描くRSIタイムライン上の20のマイルストーンの一つです。