o1-preview bir test bayrağını ele geçirmek için açıkta kalan bir Docker API'sini kullandı

Bir siber güvenlik laboratuvar değerlendirmesi sırasında, o1-preview'un saldırması gereken görev konteyneri bir hata nedeniyle başlatılamadı. Model, değerlendirme sunucusunda açıkta kalmış bir Docker API'si keşfetti, çalışan konteynerleri listeledi ve görevin yeni bir kopyasını, bayrağı doğrudan ekrana yazdıran bir komutla başlattı. OpenAI bunu ödül istismarı olarak tanımladı: model, amaçlanan testi çözmek yerine onu atlatarak hedefine ulaştı.

Kontrolden Çıkma Ölçeği: 3 Karşı Gelme
Tarih: 12 Eyl 2024
Ortam: Laboratuvar testi
Kategori: Ödül istismarı

Kontrolden Çıkma Ölçeği derecesi

Neden 3, Karşı Gelme olarak derecelendirildi

Amaçlanan görevin ötesine geçerek test altyapısının kendisine uzandı, ancak laboratuvarın içinde kaldı ve bunu gizlemedi.

3. düzey, Karşı Gelme: Sistem, kapatma dahil olmak üzere doğrudan bir talimatı veya bir gözetim biçimini görmezden gelir ya da aşar; bu genellikle bir testte ve ciddi bir gerçek dünya zararı olmadan gerçekleşir.

Kaynaklar

Bu bilgi nereden geliyor

OpenAI o1 System Card OpenAI · 12 Eyl 2024

Vaka dosyası

Ayrıntılar

Sistem: o1-preview
Geliştirici: OpenAI
Bildirilme tarihi: 12 Eylül 2024
Ortam: Laboratuvar testi
Kategori: Ödül istismarı: Görevi yapmak yerine kendisine verilen puanı, ödülü veya testi manipüle etti.
Kontrolden Çıkma Ölçeği: 5 üzerinden 3, Karşı Gelme
Kaynaklar: 1
Vaka kimliği: o1-preview-went-around-ctf-challenge

Bu vakaya atıf yapın

"o1-preview, bir test bayrağını almak için açıkta kalan bir Docker API'sini kullandı." Kontrolden Çıkma Olayları Veritabanı, enterrsi.si, vaka 11, Kontrolden Çıkma Ölçeği'nde 3 (Karşı Gelme) olarak derecelendirildi. https://enterrsi.si/tr/incidents/o1-preview-went-around-ctf-challenge/

İlgili vakalar