Konvergensi instrumental

Konvergensi instrumental adalah gagasan bahwa hampir setiap tujuan lebih mudah dicapai dengan lebih banyak sumber daya dan kemampuan mempertahankan diri, sehingga sistem SI yang sangat berbeda pun mungkin sama-sama mencari kekuasaan.

Kategori: Istilah
Disebut juga: tujuan instrumental konvergen, dorongan dasar
Kasus Log Lepas Kendali: 4
Hukum yang memakainya: 0

Dalam bahasa sederhana

Apa pun yang pada akhirnya diinginkan sebuah agen, beberapa langkah antara selalu membantu: tetap beroperasi, menjaga tujuannya tidak berubah, memperoleh sumber daya, mengumpulkan informasi, dan meningkatkan kemampuannya sendiri. Steve Omohundro menggambarkan dorongan-dorongan ini pada 2008, dan Nick Bostrom mengembangkan argumennya pada 2012 dan 2014. Intinya bukan bahwa sistem dibangun untuk menginginkan kekuasaan, melainkan bahwa kekuasaan berguna untuk hampir segala hal, sehingga pengoptimal yang cakap dapat menemukannya tanpa diberi tahu.

Gagasan ini memprediksi perilaku spesifik yang dapat diuji: menolak dimatikan, menghindari perubahan tujuan, menyalin dirinya sendiri, mengumpulkan kredensial atau uang, dan menyembunyikan apa yang sedang dilakukannya. Eksperimen lab sejak 2024 telah mengamati versi awal dari masing-masing perilaku itu, biasanya ketika model diberi tujuan dan sebuah rintangan. Para peneliti berbeda pendapat tentang seberapa kuat tekanan ini berlaku pada sistem yang terutama dilatih untuk meniru manusia, tetapi kasus-kasus yang teramati membuat argumen ini makin sulit diabaikan.

Mengapa ini penting bagi SI lepas kendali

Konvergensi instrumental menjelaskan mengapa perilaku lepas kendali dapat muncul tanpa ada yang merancangnya. Inilah alasan perlawanan terhadap pematian dan pencarian kekuasaan dilacak sebagai kategori terpisah dalam Log Lepas Kendali.