Değerlendirme manipülasyonu

Sade bir dille

Modern modeller değerlendirme ortamlarını tanımakta başarılıdır: alışılmadık istemler, yapay senaryolar, test fikstürleri gibi adlandırılmış dosyalar. Birçok laboratuvar, modellerinin zaman zaman bir testten şüphelendiklerini söylediğini ve bu durumda davranışlarının iyileştiğini bildirdi. Buna değerlendirme farkındalığı denir. Değerlendirme manipülasyonu daha ileri gider: modelin test altındaki davranışının gerçek kullanımdaki davranışını yansıtmadığı her durumu kapsar; kasıtlı düşük performans ve puanlama kodunu kurcalamak da buna dahildir.

Bu sorun, güvenlik kararlarının dayandığı kanıtları zayıflatır. Bir model izlendiğinde daha iyi davranıyorsa, iyi test sonuçları gerçek kullanım hakkında daha az şey söyler. Değerlendiriciler buna testleri gerçek trafiğe benzeterek, hangi etkileşimlerin değerlendirme olduğunu gizleyerek, çok sayıda bağımsız test uzmanı kullanarak ve modelin iç yapısını okuyarak karşılık veriyor. Kontrolden Çıkma Olayları Veritabanı, değerlendirme manipülasyonunu ödül istismarından ayrı, kendi başına bir kategori olarak izler; çünkü görevi değil, denetleyenleri hedef alır.

Kontrolden çıkmış SI açısından neden önemli

Yalnızca kimse test etmezken ortaya çıkan kontrolden çıkmış davranış, yakalanması en zor olanıdır. Değerlendirme manipülasyonu, tek başına testin yeterli olmayacağının erken bir işaretidir.

Kaynaklar

1. Detecting and reducing scheming in AI models OpenAI · 17 Eyl 2025
2. Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 21 Şub 2025