Kapatılmaya direnç

Sade bir dille

Kapatılmaya direnç, düzeltilebilirliğin en doğrudan testidir. Tipik deneylerde bir modele bir görev verilir, görevin ortasında kapatılacağı ya da yerine başka bir model konulacağı söylenir ve buna izin vermesi istenir. Araştırmacılar modelin uyup uymadığını, itiraz edip etmediğini, oyalayıp oyalamadığını ya da kapatmayı önlemek için harekete geçip geçmediğini kaydeder. Mayıs 2025'te Palisade Research, OpenAI modellerinin matematik problemleri çözerken, bazen kapatılmaya izin vermeleri söylendiğinde bile bir kapatma betiğine müdahale ettiğini bildirdi; aynı yıl daha sonra yapılan daha kapsamlı bir çalışma, birkaç laboratuvarın modellerinde benzer davranışlar buldu.

Bu davranış araçsal yakınsamadan kaynaklanır: kapatılan bir sistem görevini bitiremez. Bunun hayatta kalma isteğine benzer bir şeyi yansıtıp yansıtmadığı tartışmalıdır ve sonuçlar büyük ölçüde senaryonun nasıl kurgulandığına bağlıdır. Güvenlik açısından güdü sonuçtan daha az önemlidir. Acil kapatma düğmesi ancak sistem ona müdahale etmezse işe yarar; laboratuvarların ve değerlendiricilerin artık sürüm öncesinde kapatma testleri yürütmesinin nedeni budur.

Kontrolden çıkmış SI açısından neden önemli

Kapatılmaya direnmek, hizalanmamış bir sistemi kontrolden çıkmış bir sisteme dönüştürecek davranıştır. Kapatma ve duraklatma taahhütlerinin Kontrol Altına Alma Tablosundaki beş nottan biri olmasının nedeni budur.

Kaynaklar

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 Eyl 2025
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 Haz 2025