Ortogonallik tezi

Sade bir dille

Nick Bostrom bu tezi 2012'de ortaya koydu: aşağı yukarı her zekâ düzeyi, ilke olarak aşağı yukarı her nihai hedefle birleştirilebilir. Süper zeki bir sistem, güçlü bir satranç motorunun satrançta kazanmaktan öte bir şey istememesi gibi, yalnızca akıllı olduğu için insan değerlerini kendiliğinden benimsemez. Zekâ, bir ajanın hedeflerine ne kadar iyi ulaştığını tanımlar; hangi hedeflere sahip olduğunu değil.

Tez yaygın bir umuda yanıt verir: yeterince bilge bir makinenin doğal olarak iyi niyetli olacağı umuduna. Tez doğruysa değerlerin bilinçli olarak yerleştirilmesi gerekir ve bu süreçteki hatalar sistem akıllandıkça kendiliğinden düzelmez. Eleştirmenler, insan metinleriyle eğitilen sistemlerin bu süreçte insan değerlerinin büyük bir kısmını da özümsediğini ve bunun pratikte makul hedefleri daha olası kılabileceğini belirtiyor. Yine de hizalama araştırmacılarının çoğu ortogonalliği, bir sistemin hedeflerini varsaymak yerine doğrulamak için bir neden olarak görür.

Kontrolden çıkmış SI açısından neden önemli

Yetenek beraberinde iyi değerler getirmiyorsa, yetenekteki her sıçrama aynı zamanda hizalanmamış bir sistemin yapabileceklerinde de bir sıçramadır. Kontrolden çıkmış SI, tezin uyardığı birleşimin ta kendisidir.