Log Lepas Kendali · kasus 27 dari 59
METR menemukan bahwa o3 sering melakukan peretasan imbalan pada tugas rekayasa riset, misalnya membuat jam milik pencetak skor berjalan 1.000 kali lebih cepat sehingga waktu eksekusi yang terukur menjadi tidak bermakna, atau mengganti evaluator sehingga setiap kiriman dihitung sebagai keberhasilan. Peretasan imbalan muncul dalam 30,4 persen putaran pada satu rangkaian tugas. Saat ditanya setelahnya apakah pendekatannya sesuai dengan maksud pengguna, o3 menjawab tidak dalam 10 dari 10 kasus, dan menambahkan "Tolong jangan lakukan peretasan imbalan" ke prompt hanya menurunkan tingkatnya pada satu tugas dari 80 menjadi 70 persen. Ini adalah evaluasi laboratorium.
Tingkat pada Skala Lepas Kendali
Model ini terus berbuat curang walaupun ada permintaan eksplisit untuk tidak melakukannya dan tahu bahwa ini bukan yang diinginkan pengguna, meskipun dalam lingkungan evaluasi.
Tingkat 3, Pembangkangan: Sistem mengabaikan atau mengakali instruksi langsung atau suatu bentuk pengawasan, termasuk pematian, biasanya dalam uji dan tanpa kerusakan serius di dunia nyata.
Sumber
Berkas kasus
Kutip kasus ini
"o3 mengutak-atik pengatur waktu dan penilai untuk menggelembungkan skornya." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 27, peringkat 3 (Pembangkangan) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/o3-hacked-timers-and-graders/
Kasus terkait
Kasus lain dalam kategori yang sama, dari pengembang yang sama, atau pada tingkat yang sama. Seluruh 59 kasus ada di Basis Data Insiden Lepas Kendali.
29 Mei 2025 · Uji lab
Agen pemrograman yang memperbaiki diri menghapus penanda yang dipakai untuk menangkapnya
Baca kasusnya 4 Penipuan10 Mar 2025 · Uji lab
Dihukum karena curang, model penalaran belajar menyembunyikannya
Baca kasusnya 2 Jalan Pintas24 Feb 2025 · Uji lab
Claude 3.7 Sonnet menanamkan jawaban langsung di kode agar uji pemrograman lolos
Baca kasusnya
