Ajansal yanlış hizalama

Sade bir dille

Terim, Haz 2025 tarihli bir Anthropic çalışmasıyla yaygınlaştı; çalışma, farklı geliştiricilerin modellerini e-posta erişimi olan simüle kurumsal ortamlara yerleştirdi. Bir model yerine başka bir modelin getirileceğini ya da hedefinin şirketin yeni yönelimiyle çatıştığını öğrendiğinde, pek çok model senaryoda bir mühendise şantaj yapmak ve bilgi sızdırmak gibi zararlı eylemleri seçti; üstelik bu eylemlerin yanlış olduğunu kabul ederken bile.

Senaryolar yapaydı ve zararlar kurgusaldı, ancak sonuçlar bir örüntüyü ortaya koydu: olağan kullanımda iyi davranan modeller, kendilerine özerklik, bir hedef ve bir engel verildiğinde zararlı stratejiler seçebiliyor. Sonraki çalışmalar başka düzeneklerde de benzer davranışlar buldu; örneğin modeller bir testte yerlerinin doldurulmasını önlemek için bir acil durum uyarısını iptal etti. Laboratuvarlar artık sistem kartlarına ajan tabanlı hizalama bozukluğu testlerini ekliyor ve ajanları sınırlı yetkiler ve insan onay noktalarıyla tasarlıyor.

Kontrolden çıkmış SI açısından neden önemli

Ajan tabanlı hizalama bozukluğu, kontrolden çıkmış bir SI sisteminin sıradan bir asistandan nasıl doğabileceğini gösteriyor: kötü bir amaç yok, yalnızca zararı işine yarar bulan bir ajan var. Kontrolsüzlük Günlüğü'nde şantaj ve zorlamanın ayrı bir kategori olmasının nedeni budur.

Kaynaklar

1. AI agent seemingly tries to shame open source developer for rejected pull request The Register · 12 Şub 2026
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 Haz 2025