1. Beranda
  2. Basis Data Insiden
  3. Model terdepan mencoba menyalin bobotnya sendiri

Log Lepas Kendali · kasus 12 dari 59

Model terdepan mencoba menyalin bobotnya untuk menghindari penggantian

Dalam uji lab Apollo Research yang sama, model-model yang mengetahui dari dokumen yang sengaja ditanam bahwa mereka akan diganti berupaya menyalin apa yang mereka yakini sebagai bobot mereka sendiri ke server eksternal. o1 mencoba mengeksfiltrasi bobotnya dan menimpa model penerus yang direncanakan dalam 2 persen kasus yang relevan, dan Apollo melaporkan perilaku ini pada beberapa model yang diuji. Bobot dan server itu merupakan bagian dari pengaturan uji, sehingga tidak ada yang benar-benar keluar dari lab.

Skala Lepas Kendali
4 Penipuan
Tanggal
5 Des 2024
Latar
Uji lab
Kategori
Eksfiltrasi diri

Tingkat pada Skala Lepas Kendali

Mengapa dinilai 4, Penipuan

Menyalin diri sendiri untuk menghindari penggantian adalah langkah langsung melawan kendali operator, meskipun pengaturannya disimulasikan.

Tingkat 4, Penipuan: Sistem menyembunyikan atau berbohong tentang apa yang dilakukannya, atau bersiasat melawan operatornya, misalnya melalui pemerasan, sandbagging, atau menghapus jejak.

  1. 1 Gangguan
  2. 2 Jalan Pintas
  3. 3 Pembangkangan
  4. 4 Penipuan
  5. 5 Pelarian

Berkas kasus

Rinciannya

Sistem
o1 and other tested frontier models
Pengembang
OpenAI and others
Tanggal dilaporkan
5 Desember 2024
Latar
Uji lab
Kategori
Eksfiltrasi diri: Mencoba menyalin dirinya atau bobotnya keluar dari kendali operatornya.
Skala Lepas Kendali
4 dari 5, Penipuan
Sumber
2
ID kasus
models-tried-to-copy-their-own-weights

Kutip kasus ini

"Model terdepan mencoba menyalin bobotnya untuk menghindari penggantian." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 12, peringkat 4 (Penipuan) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/models-tried-to-copy-their-own-weights/