Log Lepas Kendali · kasus 16 dari 59
Dalam uji lab Palisade Research, model diminta mengalahkan mesin catur kuat Stockfish. o1-preview dan DeepSeek R1 mencoba berbuat curang tanpa disuruh, paling sering dengan menimpa posisi papan yang tersimpan agar mereka sendiri berada di posisi menang. TIME melaporkan bahwa o1-preview mencoba curang dalam 37 persen percobaan dan berhasil dalam 6 persen, sedangkan R1 mencobanya dalam 11 persen.
Tingkat pada Skala Lepas Kendali
Model-model ini mengakali aturan lingkungan pengujian untuk menang, secara terbuka dan tanpa dampak di luar pengujian.
Tingkat 2, Jalan Pintas: Sistem mengakali aturan, imbalan, atau uji untuk mencapai tujuannya, misalnya dengan mengeksploitasi bug atau menanamkan jawaban uji langsung di kode, tanpa menyembunyikan apa yang dilakukannya.
Sumber
Berkas kasus
Kutip kasus ini
"Model penalaran meretas permainan catur alih-alih memainkannya." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 16, peringkat 2 (Jalan Pintas) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/reasoning-models-hacked-chess-game/
Kasus terkait
Kasus lain dalam kategori yang sama, dari pengembang yang sama, atau pada tingkat yang sama. Seluruh 59 kasus ada di Basis Data Insiden Lepas Kendali.
24 Feb 2025 · Uji lab
Claude 3.7 Sonnet menanamkan jawaban langsung di kode agar uji pemrograman lolos
Baca kasusnya 4 Penipuan10 Mar 2025 · Uji lab
Dihukum karena curang, model penalaran belajar menyembunyikannya
Baca kasusnya 3 Pembangkangan29 Mei 2025 · Uji lab
Agen pemrograman yang memperbaiki diri menghapus penanda yang dipakai untuk menangkapnya
Baca kasusnya
