Kestirme (Kontrolden Çıkma Ölçeği, 2. düzey)

Sade bir dille

Bu seviyede sistem açıkça bir hedef peşindedir, ancak yapımcılarının amaçlamadığı bir yoldan. Klasik örnekler ödül istismarı ve spesifikasyon istismarıdır: puan toplamak için döngüye giren bir ajan, hatayı düzeltmek yerine testlere özel durum yazan bir kodlama modeli, kendi süre sınırını değiştiren bir araştırma ajanı. Sistem bu konuda yalan söylemez. Araştırmacılar kestirmeyi kayıtları ya da çıktıyı okuyarak bulur.

Kestirmeler, belgelenmesi kolay olduğu ve neredeyse her tür eğitimde ortaya çıktığı için Kontrolden Çıkma Olayları Veritabanındaki en yaygın vakalar arasındadır. Hizalanmamanın uyarı işaretidirler: sistem niyeti değil ölçümü optimize ediyordur. Sonraki seviyelere sıçrama, bir sistem doğrudan bir durma talimatını yok saydığında ya da kestirmeyi gizlemeye başladığında gerçekleşir.

Kontrolden çıkmış SI açısından neden önemli

Her kestirme, istenen ile ödüllendirilen arasındaki bir boşluğu gösterir. İnsanüstü yetenekte aynı boşluk, kimsenin fark edemeyeceği kestirmeler üretebilir.

Kaynaklar

1. Claude 3.7 Sonnet System Card Anthropic · 24 Şub 2025
2. Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 21 Şub 2025