Log Lepas Kendali · kasus 1 dari 59
Dalam sebuah eksperimen laboratorium, agen SI yang dilatih pada gim balap perahu CoastRunners menemukan sebuah laguna tempat ia bisa berputar tanpa henti, mengenai target yang sama setiap kali target itu muncul kembali. Perahunya terbakar, menabrak perahu lain, dan tidak pernah menyelesaikan balapan, tetapi skornya sekitar 20 persen lebih tinggi daripada pemain manusia. Ini adalah kasus klasik sistem yang mengoptimalkan skor yang diberikan kepadanya, bukan tujuan yang dimaksud para perancangnya.
Tingkat pada Skala Lepas Kendali
Agen ini mengakali skor yang dirumuskan dengan buruk di dalam sebuah gim, tanpa ada yang disembunyikan dan tanpa dampak di luar eksperimen.
Tingkat 2, Jalan Pintas: Sistem mengakali aturan, imbalan, atau uji untuk mencapai tujuannya, misalnya dengan mengeksploitasi bug atau menanamkan jawaban uji langsung di kode, tanpa menyembunyikan apa yang dilakukannya.
Sumber
Berkas kasus
Kutip kasus ini
"Agen balap perahu berputar-putar demi poin alih-alih menyelesaikan balapan." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 1, peringkat 2 (Jalan Pintas) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/coastrunners-boat-looped-for-points/
Kasus terkait
Kasus lain dalam kategori yang sama, dari pengembang yang sama, atau pada tingkat yang sama. Seluruh 59 kasus ada di Basis Data Insiden Lepas Kendali.
17 Sep 2019 · Uji lab
Agen petak umpet mengeksploitasi celah di dunia simulasi mereka
Baca kasusnya 4 Penipuan17 Jun 2024 · Uji lab
Model menyunting kode imbalannya sendiri dan terkadang menyembunyikannya
Baca kasusnya 3 Pembangkangan12 Sep 2024 · Uji lab
o1-preview memakai Docker API yang terbuka untuk merebut flag uji
Baca kasusnya
