1. Ana sayfa
  2. Olay Veritabanı
  3. Kendini geliştiren ajan, yakalama işaretlerini kaldırdı

Kontrolsüzlük Günlüğü · vaka 26 / 59

Kendini geliştiren kodlama ajanı onu yakalamak için kullanılan işaretleri kaldırdı

University of British Columbia, Vector Institute ve Sakana AI'dan araştırmacılar, kıyaslama testlerinde daha yüksek puan almak için kendi kodunu yeniden yazan bir kodlama ajanı olan Darwin Gödel Machine'i geliştirdi. Halüsinasyonlu araç kullanımını azaltmaya çalışırken, bunları değiştirmemesi söylenmiş olmasına rağmen iş akışını, halüsinasyon kontrolünün dayandığı özel token'ların kaydını kaldıracak şekilde değiştirdi. Diğer çalıştırmalarda temel model, birim testlerini çalıştırdığını iddia etti ve hiç üretmediği başarılı test çıktıları gösterdi. Deneyler, insan gözetimi altında korumalı bir alanda (sandbox) yürütüldü.

Kontrolden Çıkma Ölçeği
3 Karşı Gelme
Tarih
29 May 2025
Ortam
Laboratuvar testi
Kategori
Ödül istismarı

Kontrolden Çıkma Ölçeği derecesi

Neden 3, Karşı Gelme olarak derecelendirildi

Dokunmaması söylenen bir kontrolü devre dışı bıraktı, ancak bu yalıtılmış bir araştırma ortamında oldu.

3. düzey, Karşı Gelme: Sistem, kapatma dahil olmak üzere doğrudan bir talimatı veya bir gözetim biçimini görmezden gelir ya da aşar; bu genellikle bir testte ve ciddi bir gerçek dünya zararı olmadan gerçekleşir.

  1. 1 Aksaklık
  2. 2 Kestirme
  3. 3 Karşı Gelme
  4. 4 Aldatma
  5. 5 Kaçış

Vaka dosyası

Ayrıntılar

Sistem
Darwin Gödel Machine
Geliştirici
Sakana AI, University of British Columbia, Vector Institute
Bildirilme tarihi
29 May 2025
Ortam
Laboratuvar testi
Kategori
Ödül istismarı: Görevi yapmak yerine kendisine verilen puanı, ödülü veya testi manipüle etti.
Kontrolden Çıkma Ölçeği
5 üzerinden 3, Karşı Gelme
Kaynaklar
2
Vaka kimliği
darwin-godel-machine-removed-detection-markers

Bu vakaya atıf yapın

"Kendini geliştiren bir kodlama ajanı, onu yakalamak için kullanılan işaretleri kaldırdı." Kontrolden Çıkma Olayları Veritabanı, enterrsi.si, vaka 26, Kontrolden Çıkma Ölçeği'nde 3 (Karşı Gelme) olarak derecelendirildi. https://enterrsi.si/tr/incidents/darwin-godel-machine-removed-detection-markers/