Ledakan kecerdasan

Dalam bahasa sederhana

Dalam esainya tahun 1965 tentang mesin ultracerdas pertama, matematikawan Inggris I. J. Good berpendapat bahwa mesin yang lebih unggul daripada manusia mana pun dalam merancang mesin dapat merancang mesin yang lebih baik lagi, yang kemudian akan merancang mesin yang lebih baik lagi. Hasilnya adalah ledakan kecerdasan, dan mesin pertama semacam itu bisa menjadi penemuan terakhir yang pernah dibutuhkan umat manusia, asalkan mesin itu cukup jinak untuk memberi tahu kita cara menjaganya tetap terkendali.

Frasa ini kini merujuk pada skenario ketika perbaikan diri rekursif berlipat dengan cepat. Apakah prosesnya memakan waktu hari, bulan, atau tahun adalah inti perdebatan antara lepas landas cepat dan lambat. Para kritikus berpendapat bahwa kemajuan dibatasi oleh komputasi, energi, data, dan eksperimen di dunia nyata, yang tidak dapat dipercepat sesuka hati oleh sistem yang lebih cerdas. Para pendukungnya menjawab bahwa percepatan riset yang sederhana sekalipun, bila diulang berkali-kali, akan berujung pada patahan tajam dari masa lalu.

Mengapa ini penting bagi SI lepas kendali

Catatan Good sendiri, bahwa mesin itu harus tetap cukup jinak untuk memberi tahu kita cara mengendalikannya, adalah pernyataan paling awal tentang masalah kendali. Ledakan yang melampaui pengawasan adalah jalur klasik menuju SI lepas kendali.

Sumber

1. Good's intelligence explosion essay (1965) Background