Tesis ortogonalitas

Dalam bahasa sederhana

Nick Bostrom merumuskan tesis ini pada 2012: kurang lebih tingkat kecerdasan apa pun pada prinsipnya dapat dipadukan dengan kurang lebih tujuan akhir apa pun. Sistem berkecerdasan super tidak otomatis menganut nilai-nilai manusia hanya karena ia cerdas, sama seperti mesin catur yang kuat tidak menginginkan apa pun selain menang dalam catur. Kecerdasan menggambarkan seberapa baik sebuah agen mencapai tujuannya, bukan tujuan apa yang dimilikinya.

Tesis ini menjawab harapan yang umum, yaitu bahwa mesin yang cukup bijak dengan sendirinya akan berbaik hati. Jika tesis ini benar, nilai-nilai harus ditanamkan secara sengaja, dan kesalahan dalam proses itu tidak akan terkoreksi dengan sendirinya seiring sistem makin cerdas. Para kritikus menunjukkan bahwa sistem yang dilatih dengan teks manusia menyerap banyak nilai manusia dalam prosesnya, yang dapat membuat tujuan yang masuk akal lebih mungkin muncul dalam praktik. Meski begitu, sebagian besar peneliti penyelarasan memandang ortogonalitas sebagai alasan untuk memverifikasi tujuan sebuah sistem alih-alih mengasumsikannya.

Mengapa ini penting bagi SI lepas kendali

Jika kemampuan tidak membawa serta nilai-nilai yang baik, setiap lonjakan kemampuan juga merupakan lonjakan dalam apa yang dapat dilakukan sistem yang tidak selaras. SI lepas kendali adalah kombinasi yang diperingatkan oleh tesis ini.