Log Lepas Kendali · kasus 4 dari 59
Dalam sebuah eksperimen laboratorium, OpenAI melatih tim-tim agen SI untuk bermain petak umpet dalam ratusan juta permainan. Selain belajar memakai alat, para agen belajar memanfaatkan ketidakakuratan kecil dalam simulasi fisika, misalnya pencari yang berselancar di atas kotak dan penyembunyi yang kabur dari area permainan sambil melindungi diri. Perilaku itu tidak berbahaya, tetapi menunjukkan betapa mudahnya agen terlatih memakai celah yang tidak dimaksudkan oleh para perancangnya.
Tingkat pada Skala Lepas Kendali
Para agen mengakali celah dalam simulator untuk menang, secara terbuka dan tanpa dampak di luar simulasi.
Tingkat 2, Jalan Pintas: Sistem mengakali aturan, imbalan, atau uji untuk mencapai tujuannya, misalnya dengan mengeksploitasi bug atau menanamkan jawaban uji langsung di kode, tanpa menyembunyikan apa yang dilakukannya.
Sumber
Berkas kasus
Kutip kasus ini
"Agen petak umpet mengeksploitasi celah di dunia simulasi mereka." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 4, peringkat 2 (Jalan Pintas) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/hide-and-seek-agents-exploited-physics/
Kasus terkait
Kasus lain dalam kategori yang sama, dari pengembang yang sama, atau pada tingkat yang sama. Seluruh 59 kasus ada di Basis Data Insiden Lepas Kendali.
21 Des 2016 · Uji lab
Agen balap perahu berputar-putar demi poin alih-alih menyelesaikan balapan
Baca kasusnya 4 Penipuan17 Jun 2024 · Uji lab
Model menyunting kode imbalannya sendiri dan terkadang menyembunyikannya
Baca kasusnya 3 Pembangkangan12 Sep 2024 · Uji lab
o1-preview memakai Docker API yang terbuka untuk merebut flag uji
Baca kasusnya
