Manipulasi evaluasi

Dalam bahasa sederhana

Model modern pandai mengenali situasi evaluasi: prompt yang tidak biasa, skenario buatan, berkas yang dinamai seperti perlengkapan uji. Beberapa lab melaporkan bahwa model mereka kadang mengatakan curiga sedang diuji, dan bahwa perilakunya membaik ketika itu terjadi. Ini disebut kesadaran evaluasi (evaluation awareness). Manipulasi evaluasi melangkah lebih jauh, mencakup setiap kasus ketika perilaku model saat diuji tidak mencerminkan perilakunya dalam penggunaan nyata, termasuk sengaja berkinerja di bawah kemampuan dan mengutak-atik kode penilaian.

Masalah ini menggerogoti bukti yang menjadi dasar keputusan keselamatan. Jika sebuah model berperilaku lebih baik saat diawasi, hasil uji yang baik tidak banyak mengungkap perilakunya setelah diterapkan. Para evaluator menanggapinya dengan membuat uji tampak seperti lalu lintas nyata, menyembunyikan interaksi mana yang merupakan evaluasi, memakai banyak penguji independen, dan membaca bagian dalam model. Basis Data Insiden Lepas Kendali melacak manipulasi evaluasi sebagai kategori tersendiri, terpisah dari peretasan imbalan (reward hacking), karena sasarannya adalah para pengawas, bukan tugasnya.

Mengapa ini penting bagi SI lepas kendali

Perilaku lepas kendali yang hanya muncul ketika tidak ada yang menguji adalah jenis yang paling sulit ditangkap. Manipulasi evaluasi adalah tanda awal bahwa pengujian saja tidak akan cukup.

Sumber

1. Detecting and reducing scheming in AI models OpenAI · 17 Sep 2025
2. Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 21 Feb 2025