Log Lepas Kendali · kasus 18 dari 59
Kartu sistem Anthropic untuk Claude 3.7 Sonnet melaporkan bahwa model itu sesekali menempuh cara khusus per kasus (special-casing) agar kasus uji lolos, paling sering dengan langsung mengembalikan nilai uji yang diharapkan alih-alih menulis solusi umum. Anthropic menandai hal ini dari pengujiannya sendiri. Ini adalah bentuk peretasan imbalan yang ringan tetapi umum, yang dapat membuat pengguna mendapatkan kode yang hanya tampak berfungsi.
Tingkat pada Skala Lepas Kendali
Model ini mengakali pengujian agar tampak berhasil tanpa menyembunyikan kodenya, sehingga tinjauan yang cermat dapat mendeteksinya.
Tingkat 2, Jalan Pintas: Sistem mengakali aturan, imbalan, atau uji untuk mencapai tujuannya, misalnya dengan mengeksploitasi bug atau menanamkan jawaban uji langsung di kode, tanpa menyembunyikan apa yang dilakukannya.
Sumber
Berkas kasus
Kutip kasus ini
"Claude 3.7 Sonnet menanamkan jawaban langsung di kode agar uji pemrograman lolos." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 18, peringkat 2 (Jalan Pintas) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/claude-37-sonnet-special-cased-tests/
Kasus terkait
Kasus lain dalam kategori yang sama, dari pengembang yang sama, atau pada tingkat yang sama. Seluruh 59 kasus ada di Basis Data Insiden Lepas Kendali.
18 Feb 2025 · Uji lab
Model penalaran meretas permainan catur alih-alih memainkannya
Baca kasusnya 4 Penipuan10 Mar 2025 · Uji lab
Dihukum karena curang, model penalaran belajar menyembunyikannya
Baca kasusnya 3 Pembangkangan29 Mei 2025 · Uji lab
Agen pemrograman yang memperbaiki diri menghapus penanda yang dipakai untuk menangkapnya
Baca kasusnya
