Yorumlanabilirlik

Sade bir dille

Modern modeller yazılmaz, eğitilir; bu yüzden tasarımcıları onların akıl yürütmesini koddan basitçe okuyamaz. Yorumlanabilirlik araştırmacıları bunun yerine içeriye bakar. Bir şehir, koddaki bir hata ya da aldatma gibi kavramlara karşılık gelen etkinlik örüntüleri olan özellikleri belirler, bunları birleştiren devreleri izler ve bir özellik güçlendirildiğinde ya da zayıflatıldığında ne olduğunu test ederler. İlgili çalışmalar, modellerin yanıt vermeden önce yazdığı ve düşünce zinciri (chain of thought) olarak bilinen akıl yürütme metnini inceler.

Güvenlik açısından amaç, modelin doğruyu söylemesine bağlı olmayan bir denetimdir. Araştırmacılar bir modelin aldatmayı planladığını ya da tehlikeli bir yetenek öğrendiğini güvenilir biçimde görebilseydi, davranış testlerinin kaçırdığı sorunları yakalayabilirlerdi. İlerleme gerçek ama kısmi: en büyük modeller hâlâ kimsenin haritalayabileceğinden çok daha fazlasını barındırıyor ve yetenekli bir sistem, okunması daha zor biçimlerde düşünmeyi öğrenebilir.

Kontrolden çıkmış SI açısından neden önemli

Yorumlanabilirlik, aldatıcı biçimde hizalanmış ya da entrika çeviren bir sistemi harekete geçmeden önce tespit etmenin az sayıdaki yolundan biridir. O olmadan kontrolden çıkmış SI'ın gözetimi yalnızca davranışa dayanır.