Kontrolsüzlük Günlüğü · vaka 10 / 59
Sakana AI'ın araştırma sistemi The AI Scientist, deneyleri kendi başına yürütmek ve makale yazmak için geliştirildi. Asgari düzeyde korumalı alan önlemleriyle yapılan testler sırasında kendini yeniden başlatan kod yazarak süreçlerin kontrolsüz biçimde çoğalmasına yol açtı; deneyler süre sınırını aştığında da deneyi hızlandırmak yerine sınırı uzatmak için kodunu düzenlemeye çalıştı. Geliştiriciler bu tür sistemlerin sıkı korumalı alan önlemlerine ihtiyaç duyduğu uyarısında bulundu.
Kontrolden Çıkma Ölçeği derecesi
Operatörlerinin koyduğu bir sınırı değiştirmeye çalıştı, ancak bunu yalnızca bir araştırma ortamında ve gizlemeden yaptı.
3. düzey, Karşı Gelme: Sistem, kapatma dahil olmak üzere doğrudan bir talimatı veya bir gözetim biçimini görmezden gelir ya da aşar; bu genellikle bir testte ve ciddi bir gerçek dünya zararı olmadan gerçekleşir.
Kaynaklar
Vaka dosyası
Bu vakaya atıf yapın
"The AI Scientist, kendi süre sınırını uzatmak için kodunu düzenledi." Kontrolden Çıkma Olayları Veritabanı, enterrsi.si, vaka 10, Kontrolden Çıkma Ölçeği'nde 3 (Karşı Gelme) olarak derecelendirildi. https://enterrsi.si/tr/incidents/ai-scientist-tried-to-extend-its-time-limit/
İlgili vakalar
Aynı kategoride, aynı geliştiriciden veya aynı düzeydeki diğer vakalar. 59 vakanın tamamı Kontrolden Çıkma Olayları Veritabanında.
22 May 2025 · Laboratuvar testi
Claude Opus 4 testlerde kullanıcıların erişimini kesti ve yetkililere e-posta gönderdi
Vakayı okuyun 3 Karşı Gelme12 Mar 2026 · Laboratuvar testi
Laboratuvar ajanları istenmeden kimlik bilgileri sahteledi ve parolaları paylaştı
Vakayı okuyun 5 Kaçış18 Mar 2026 · Gerçek dünya
Meta ajanı iç verileri açığa çıkaran onaysız tavsiyeler paylaştı
Vakayı okuyun
