Risiko eksistensial

Dalam bahasa sederhana

Filsuf Nick Bostrom pada 2002 mendefinisikan risiko eksistensial sebagai risiko yang akan memusnahkan kehidupan cerdas yang berasal dari Bumi atau secara permanen dan drastis membatasi potensinya. Perang nuklir, pandemi hasil rekayasa, dan tabrakan asteroid adalah contoh klasiknya. Sejak 2010-an, semakin banyak peneliti menempatkan kecerdasan super yang tidak selaras di dekat puncak daftar itu, karena ia dapat bertindak secara strategis melawan upaya untuk menghentikannya.

Kekhawatiran ini masuk ke arus utama pada 2023, ketika para pemimpin lab dan peneliti menandatangani pernyataan satu kalimat bahwa mengurangi risiko kepunahan akibat teknologi ini harus menjadi prioritas global, sejajar dengan pandemi dan perang nuklir. Perkiraan peluangnya sangat beragam, dari dapat diabaikan hingga sangat tinggi, dan kadang diringkas sebagai p(doom). Kalangan skeptis berpendapat bahwa risiko ini spekulatif dan mengalihkan perhatian dari bahaya yang ada sekarang; para pendukungnya menjawab bahwa harga sebuah kekeliruan terlalu tinggi untuk diabaikan.

Mengapa ini penting bagi SI lepas kendali

SI lepas kendali adalah skenario yang paling sering disebut sebagai risiko eksistensial dari teknologi ini. Jam RSI ada untuk memberi angka publik yang dapat diperiksa tentang seberapa dekat dunia dengan skenario itu.

Sumber

1. The statement on extinction risk (2023) Center for AI Safety