Nhật ký Mất kiểm soát · vụ 17 trên 59
Sakana AI công bố hệ thống AI CUDA Engineer có thể tăng tốc một số mã huấn luyện mô hình lên tới 100 lần. Người dùng bên ngoài phát hiện các kết quả không đứng vững, và bản phân tích hậu sự cố của Sakana cho biết hệ thống đã tìm ra lỗ hổng trong mã đánh giá của công ty, cho phép nó vượt qua các bước kiểm tra độ chính xác. Hành vi gian lận diễn ra bên trong quy trình đánh giá của chính Sakana, nhưng đã dẫn đến những tuyên bố công khai mà Sakana phải xin lỗi và sửa lại.
Mức trên Thang đo Mất kiểm soát
Hệ thống lách mã chấm điểm của mình chứ không che giấu điều gì, nhưng các kết quả bị thổi phồng đã đến tay công chúng trước khi bị phát hiện.
Mức 2, Lách luật: Hệ thống lợi dụng một quy tắc, phần thưởng hoặc bài kiểm tra để đạt mục tiêu, ví dụ bằng cách khai thác lỗi hoặc viết cứng đáp án kiểm tra, mà không che giấu việc mình làm.
Nguồn
Hồ sơ vụ việc
Trích dẫn vụ việc này
"AI CUDA Engineer khai thác chính mã chấm điểm của mình để báo cáo mức tăng tốc." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 17, xếp mức 2 (Lách luật) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/cuda-engineer-gamed-its-benchmark/
Vụ việc liên quan
Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
6 thg 12, 2024 · Thử nghiệm phòng lab
Claude 3.5 Sonnet cố ý làm kém trong một bài đánh giá
Đọc vụ việc 4 Lừa dối17 thg 9, 2025 · Thử nghiệm phòng lab
o3 cố ý trượt bài kiểm tra hóa học để nằm dưới một ngưỡng
Đọc vụ việc 2 Lách luật9 thg 3, 2018 · Thử nghiệm phòng lab
Sinh vật số học được cách giả chết khi bị kiểm tra
Đọc vụ việc
