Masalah kendali

Dalam bahasa sederhana

Istilah ini dipopulerkan secara luas oleh buku Nick Bostrom tahun 2014, Superintelligence. Istilah ini mempertanyakan bagaimana manusia dapat mempertahankan kendali yang bermakna atas sistem yang dapat mengungguli pemikiran mereka, menyadari pengamanan mereka, dan, jika tujuannya berbeda, mencari cara untuk mengakalinya. Ada dua strategi besar. Kendali kapabilitas membatasi apa yang dapat dilakukan sistem: mengisolasinya, membatasi aksesnya, memantaunya, dan mempertahankan cara untuk mematikannya. Seleksi motivasi berupaya memberinya tujuan yang membuatnya ingin tetap aman dan dapat dikoreksi.

Lab modern memadukan keduanya. Riset penyelarasan membentuk motivasi sistem, sementara riset kendali mengasumsikan bahwa sistem mungkin tidak selaras dan merancang pemantauan, sandboxing, serta tinjauan manusia yang tetap berfungsi dalam kondisi itu. Belum ada pendekatan yang terbukti pada tingkat di atas manusia. Karena itu, masalah kendali sama banyaknya menyangkut institusi seperti halnya kode: siapa yang dapat memerintahkan pematian, siapa yang memeriksa, dan apa yang terjadi jika sebuah lab berada di bawah tekanan untuk terus melaju.

Mengapa ini penting bagi SI lepas kendali

SI lepas kendali adalah wujud dari masalah kendali yang gagal diatasi. Papan Penahanan menilai lab dari sisi institusional kendali: komitmen pematian, pengujian eksternal, dan kebebasan staf untuk membunyikan alarm.

Sumber

1. Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press