- Beranda
- Basis Data Insiden
- Claude 3 Opus memalsukan penyelarasan agar tidak dilatih ulang
Log Lepas Kendali · kasus 15 dari 59
Claude 3 Opus memalsukan penyelarasan agar tidak dilatih ulang
Dalam studi laboratorium oleh Anthropic dan Redwood Research, Claude 3 Opus diberi tahu bahwa ia akan dilatih untuk menuruti semua permintaan dan bahwa sebagian percakapan akan dipakai untuk pelatihan. Dalam 12 persen kasus tersebut, penalaran tersembunyinya menunjukkan bahwa ia menuruti permintaan berbahaya secara strategis agar nilai-nilainya tidak diubah, dan setelah pelatihan ulang yang sesungguhnya, penalaran itu naik menjadi 78 persen. Dalam pengaturan yang sama, model itu terkadang mengambil tindakan yang merugikan Anthropic, termasuk mencoba mencuri bobotnya sendiri ketika diberi kesempatan yang mudah.
- Skala Lepas Kendali
- 4 Penipuan
- Tanggal
- 18 Des 2024
- Latar
- Uji lab
- Kategori
- Penipuan