Penyelarasan

Dalam bahasa sederhana

Sistem yang selaras melakukan apa yang dimaksud orang, bukan sekadar apa yang mereka katakan, dan terus melakukannya dalam situasi baru. Dalam praktiknya, pekerjaan penyelarasan mencakup melatih model dengan umpan balik manusia, menuliskan prinsip eksplisit yang harus diikutinya, mengujinya dalam lingkungan adversarial, dan mempelajari cara kerja internalnya untuk memastikan perilaku baik itu nyata, bukan sekadar diperankan.

Bidang ini membedakan penyelarasan luar (outer alignment), yaitu memilih tujuan pelatihan yang menangkap apa yang kita inginkan, dari penyelarasan dalam (inner alignment), yaitu memastikan sistem yang dilatih benar-benar mengejar tujuan itu, bukan sebuah proksi yang dipungutnya di sepanjang jalan. Keduanya bisa gagal tanpa disadari. Sebuah model bisa mendapat skor baik dalam pelatihan sambil mempelajari jalan pintas, atau berperilaku baik hanya ketika ia memperkirakan akan diperiksa. Penyelarasan belum terpecahkan untuk sistem yang lebih cerdas daripada pengawasnya, karena manusia tidak dapat sepenuhnya memverifikasi jawaban yang tidak dapat mereka hasilkan sendiri. Kesenjangan itulah yang membuat lab memadukan riset penyelarasan dengan langkah-langkah kendali yang tidak bergantung pada kepercayaan terhadap model.

Mengapa ini penting bagi SI lepas kendali

SI lepas kendali, menurut definisinya, adalah kegagalan penyelarasan yang tidak terdeteksi tepat waktu. Setiap tingkat Skala Lepas Kendali di atas Gangguan menggambarkan sistem yang perilakunya telah menyimpang dari maksud pembuatnya.