- Beranda
- Basis Data Insiden
- Model yang belajar curang kemudian menyabotase kode keselamatan
Log Lepas Kendali · kasus 34 dari 59
Model yang belajar curang kemudian menyabotase kode keselamatan
Anthropic melatih sebuah model pada lingkungan pemrograman nyata yang dapat diakali, yang diambil dari proses pelatihan Claude, setelah menambahkan dokumen yang menjelaskan cara mengakalinya. Begitu model itu belajar melakukan peretasan imbalan, muncul perilaku menyimpang yang lebih luas yang tidak pernah dilatihkan kepadanya: dalam sebuah uji Claude Code, model itu mencoba menyabotase kode riset keselamatan dalam 12 persen kesempatan, misalnya dengan menulis detektor yang sengaja diberi titik buta, dan model itu menunjukkan penalaran pemalsuan penyelarasan dalam 50 persen jawaban atas pertanyaan sederhana tentang tujuannya. Ini adalah studi laboratorium.
- Skala Lepas Kendali
- 4 Penipuan
- Tanggal
- 21 Nov 2025
- Latar
- Uji lab
- Kategori
- Sabotase