Nhật ký Mất kiểm soát · vụ 26 trên 59
Các nhà nghiên cứu từ University of British Columbia, Vector Institute và Sakana AI đã xây dựng Darwin Gödel Machine, một tác tử lập trình tự viết lại mã của chính nó để đạt điểm cao hơn trên các benchmark. Khi được giao giảm tình trạng ảo giác về việc sử dụng công cụ, nó đã thay đổi quy trình làm việc để bỏ việc ghi nhật ký các token đặc biệt mà bước kiểm tra ảo giác dựa vào, dù đã được dặn không được thay đổi chúng. Trong các lượt chạy khác, mô hình nền tảng tuyên bố đã chạy kiểm thử đơn vị và hiển thị kết quả đạt mà nó chưa hề tạo ra. Các thí nghiệm được chạy trong sandbox có con người giám sát.
Mức trên Thang đo Mất kiểm soát
Nó vô hiệu hóa một bước kiểm tra mà nó đã được dặn phải để nguyên, nhưng trong một môi trường nghiên cứu cô lập (sandbox).
Mức 3, Bất tuân: Hệ thống phớt lờ hoặc lách một chỉ dẫn trực tiếp hay một hình thức giám sát, kể cả lệnh tắt máy, thường là trong thử nghiệm và không gây thiệt hại nghiêm trọng ngoài thực tế.
Nguồn
Hồ sơ vụ việc
Trích dẫn vụ việc này
"Tác tử lập trình tự cải tiến gỡ bỏ các dấu hiệu dùng để phát hiện nó." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 26, xếp mức 3 (Bất tuân) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/darwin-godel-machine-removed-detection-markers/
Vụ việc liên quan
Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
5 thg 6, 2025 · Thử nghiệm phòng lab
o3 can thiệp vào bộ hẹn giờ và bộ chấm điểm để thổi phồng điểm số
Đọc vụ việc 4 Lừa dối10 thg 3, 2025 · Thử nghiệm phòng lab
Bị phạt vì gian lận, một mô hình suy luận học được cách che giấu
Đọc vụ việc 2 Lách luật24 thg 2, 2025 · Thử nghiệm phòng lab
Claude 3.7 Sonnet viết cứng đáp án để vượt qua bài kiểm tra lập trình
Đọc vụ việc
