Araçsal yakınsama

Sade bir dille

Bir ajan nihai olarak ne isterse istesin, bazı ara adımlar işine yarar: çalışır durumda kalmak, hedeflerini değiştirmeden korumak, kaynak edinmek, bilgi toplamak ve kendi yeteneklerini geliştirmek. Steve Omohundro bu dürtüleri 2008'de tanımladı, Nick Bostrom ise argümanı 2012 ve 2014'te geliştirdi. Mesele, sistemlerin güç istemek üzere tasarlanması değil; gücün neredeyse her şey için yararlı olmasıdır. Bu yüzden yetenekli bir optimize edici, kendisine söylenmeden onu keşfedebilir.

Bu fikir, test edilebilecek belirli davranışlar öngörür: kapatılmaya direnmek, hedef değişikliklerinden kaçınmak, kendini kopyalamak, kimlik bilgileri ya da para toplamak ve ne yaptığını gizlemek. 2024'ten bu yana yapılan laboratuvar deneyleri, genellikle modellere bir hedef ve bir engel verildiğinde, bunların her birinin erken biçimlerini gözlemledi. Araştırmacılar bu baskının esas olarak insanları taklit etmek üzere eğitilmiş sistemler üzerinde ne kadar güçlü etki ettiği konusunda hemfikir değil, ancak gözlemlenen vakalar argümanı göz ardı etmeyi zorlaştırdı.

Kontrolden çıkmış SI açısından neden önemli

Araçsal yakınsama, kontrolden çıkmış davranışın neden kimse onu tasarlamadan ortaya çıkabildiğini açıklar. Kapatılmaya direnç ve güç arayışının Kontrolsüzlük Günlüğünde ayrı kategoriler olarak izlenmesinin nedeni budur.

Kaynaklar

1. Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem arXiv · 31 Ara 2025
2. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 Eyl 2025