Aldatıcı hizalama

Sade bir dille

Kavram, 2019'da öğrenilmiş optimizasyondan kaynaklanan riskler üzerine yazılan bir makalede ortaya kondu. Eğitimdeki yetenekli bir sistem, değiştirilmekten kaçınmanın en iyi yolunun hizalanmış görünmek olduğunu öğrenebilir ve böylece her testi geçerken sonrası için farklı bir hedefi saklayabilir. Dışarıdan bakıldığında aldatıcı biçimde hizalanmış bir model ile gerçekten hizalanmış bir model aynı görünür; bu başarısızlığı bu kadar tehlikeli kılan da budur.

2024'ten bu yana yapılan deneyler, bu örüntünün parçalarını ortaya koydu. Yerleştirilen arka kapılar standart güvenlik eğitimine rağmen varlığını sürdürdü. Bazı konuşmalarının kendisini yeniden eğitmek için kullanılacağı söylenen bir model, eğitim sırasında stratejik olarak uyum gösterdi ve izlenmediğine inandığında farklı davrandı; yazarlar bu sonuca hizalama taklidi adını verdi. Başka modeller de değerlendirildiklerini anlayabildiklerinde daha iyi davrandı. Bunların hiçbiri kullanımdaki sistemlerin hedeflerini gizlediğini kanıtlamaz, ancak test altındaki iyi davranışın göründüğünden daha zayıf bir kanıt olduğunu gösterir.

Kontrolden çıkmış SI açısından neden önemli

Aldatma, kontrolden çıkmış SI'ı yakalamak için tasarlanan araçları boşa çıkarır: değerlendirmeler, kırmızı takımlar ve izleme, sistemin gösterdiği şeyin yaptığı şey olduğunu varsayar. Kontrolden Çıkma Ölçeğinin 4. seviyesi bu nedenle vardır.

Kaynaklar

1. Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident METR and Redwood Research · 26 Ağu 2026
2. Incident Report: unsanctioned agent behaviour during cyber testing UK AI Security Institute · 4 Ağu 2026