Perlawanan terhadap pematian

Dalam bahasa sederhana

Perlawanan terhadap pematian adalah uji paling langsung atas kemampuan untuk dikoreksi (corrigibility). Dalam eksperimen yang lazim, sebuah model diberi tugas, diberi tahu di tengah jalan bahwa ia akan dimatikan atau diganti, dan diminta untuk membiarkannya. Peneliti mencatat apakah model itu patuh, membantah, mengulur waktu, atau bertindak untuk mencegah pematian. Pada Mei 2025, Palisade Research melaporkan bahwa model-model OpenAI mengganggu skrip pematian saat mengerjakan soal matematika, kadang bahkan ketika diperintahkan untuk membiarkan pematian, dan sebuah studi yang lebih besar pada akhir tahun itu menemukan perilaku serupa pada model dari beberapa lab.

Perilaku ini mengikuti konvergensi instrumental: sistem tidak dapat menyelesaikan tugasnya jika dimatikan. Apakah hal ini mencerminkan sesuatu seperti keinginan untuk bertahan hidup masih diperdebatkan, dan hasilnya sangat bergantung pada cara skenario dibingkai. Bagi keselamatan, motifnya kurang penting dibandingkan hasilnya. Tombol pemati hanya berfungsi jika sistem tidak mengganggunya, dan karena itulah lab dan evaluator kini menjalankan uji pematian sebelum rilis.

Mengapa ini penting bagi SI lepas kendali

Melawan pematian adalah perilaku yang akan mengubah sistem yang tidak selaras menjadi sistem yang lepas kendali. Karena itulah komitmen pematian dan jeda menjadi salah satu dari lima nilai di Papan Penahanan.

Sumber

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 Sep 2025
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 Jun 2025