Kontrol sorunu

Sade bir dille

İfade, Nick Bostrom'un 2014 tarihli Superintelligence kitabıyla yaygın olarak bilinir hale geldi. Soru şudur: İnsanlar, onlardan daha iyi düşünebilen, güvenlik önlemlerini fark edebilen ve hedefleri farklıysa bunları aşmanın yollarını arayabilen bir sistem üzerinde anlamlı bir kontrolü nasıl sürdürebilir? İki geniş strateji var. Yetenek kontrolü, bir sistemin yapabileceklerini sınırlar: onu yalıtmak, erişimini kısıtlamak, izlemek ve kapatmanın bir yolunu açık tutmak. Motivasyon seçimi ise ona güvenli ve düzeltilebilir kalmayı istemesini sağlayacak hedefler vermeye çalışır.

Günümüz laboratuvarları ikisini birleştiriyor. Hizalama araştırması sistemin motivasyonlarını şekillendirirken, kontrol araştırması sistemin hizalanmamış olabileceğini varsayar ve bu durumda bile işe yarayan izleme, korumalı alan ve insan incelemesi tasarlar. Hiçbir yaklaşım insanüstü düzeylerde kanıtlanmış değil. Bu nedenle kontrol problemi kod kadar kurumlarla da ilgilidir: kapatma emrini kim verebilir, kim denetler ve bir laboratuvar devam etmesi için baskı altındaysa ne olur?

Kontrolden çıkmış SI açısından neden önemli

Kontrolden çıkmış SI, kaybedilmiş bir kontrol probleminin görünümüdür. Kontrol Altına Alma Tablosu, laboratuvarları kontrolün kurumsal yönü üzerinden notlandırır: kapatma taahhütleri, dış testler ve çalışanların alarm verme özgürlüğü.

Kaynaklar

1. Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press