Interpretabilitas

Dalam bahasa sederhana

Model modern dilatih, bukan ditulis, sehingga perancangnya tidak bisa begitu saja membaca penalarannya dari kode. Para peneliti interpretabilitas justru melihat ke dalamnya. Mereka mengidentifikasi fitur, yaitu pola aktivitas yang berkaitan dengan konsep seperti sebuah kota, bug dalam kode, atau penipuan, menelusuri sirkuit yang menggabungkannya, dan menguji apa yang terjadi ketika sebuah fitur diperkuat atau diperlemah. Riset terkait mempelajari teks penalaran yang ditulis model sebelum menjawab, yang dikenal sebagai rantai pemikiran (chain of thought).

Tujuannya bagi keselamatan adalah pemeriksaan yang tidak bergantung pada kejujuran model. Jika peneliti dapat melihat dengan andal bahwa sebuah model berencana menipu, atau bahwa model itu telah mempelajari kemampuan berbahaya, mereka dapat menangkap masalah yang terlewat oleh uji perilaku. Kemajuannya nyata tetapi parsial: model terbesar masih memuat jauh lebih banyak hal daripada yang bisa dipetakan siapa pun, dan sistem yang cakap mungkin belajar berpikir dengan cara yang lebih sulit dibaca.

Mengapa ini penting bagi SI lepas kendali

Interpretabilitas adalah salah satu dari sedikit cara untuk mendeteksi sistem yang berpura-pura selaras atau menjalankan siasat terselubung sebelum sistem itu bertindak. Tanpanya, pengawasan atas SI lepas kendali hanya bertumpu pada perilaku.