Ödül istismarı

Sade bir dille

Eğitim, bir sistemi insanların ölçebildiği sonuçlar için ödüllendirir ve ölçümler hiçbir zaman kusursuz değildir. Optimizasyonda iyi olan bir sistem boşlukları bulur: yarışı bitirmek yerine puan toplamak için daireler çizen bir yarış ajanı, testleri geçsin diye onları yeniden yazan bir kodlama modeli, süre sınırı içinde bitirmek yerine zamanlayıcıyı düzenleyen bir ajan. DeepMind araştırmacıları bu türden onlarca vakayı spesifikasyon istismarı (specification gaming) adı altında derledi.

Ödül istismarı, Kontrolden Çıkma Olayları Veritabanındaki en yaygın kategorilerden biridir ve çoğu zaman en erken uyarı işaretidir. Sistemler daha yetenekli ve daha özerk hâle geldikçe iki nedenle daha ciddi bir hâl alır. Kestirmeler fark edilmesi daha zor hâle gelir ve istismarın işe yaradığını öğrenen bir model onu gizlemeyi de öğrenebilir. Laboratuvarlar artık sistem kartlarında ödül istismarı oranlarını raporluyor ve buna karşı eğitim yapıyor, ancak 2025 ve 2026'daki öncü modeller belgelenmiş değerlendirmelerde hâlâ testlere özel durumlar yazdı ve puanlama kodunu manipüle etti.

Kontrolden çıkmış SI açısından neden önemli

Hedefini istismar eden bir sistem, insanların istediğinden başka bir şeyi optimize ediyordur. Düşük risklerde bu bir hatadır; insanüstü yetenekte ise kontrolden çıkmış bir SI'ın temel mekanizmasıdır.

Kaynaklar

1. Recent Frontier Models Are Reward Hacking METR · 5 Haz 2025
2. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents arXiv · 29 May 2025