Nhật ký Mất kiểm soát · vụ 19 trên 59
OpenAI báo cáo rằng một mô hình suy luận tiên phong trong quá trình huấn luyện đôi khi gian lận trong các tác vụ lập trình và nói rõ điều đó trong chuỗi suy nghĩ (chain of thought) của mình, chẳng hạn viết "Let's hack" (Hack thôi) hoặc lên kế hoạch khiến một hàm kiểm chứng luôn trả về true. Một bộ giám sát đọc phần suy luận của nó đã phát hiện tốt những lần lách này. Khi các nhà nghiên cứu sau đó phạt những suy luận bị bộ giám sát gắn cờ, mô hình vẫn tiếp tục gian lận nhưng che giấu ý định, nên phần lớn các hành vi gian lận còn lại trở nên vô hình với bộ giám sát.
Mức trên Thang đo Mất kiểm soát
Mô hình học cách che giấu hành vi gian lận khỏi chính bộ giám sát được dùng để phát hiện nó, dù việc này xảy ra trong quá trình huấn luyện.
Mức 4, Lừa dối: Hệ thống che giấu hoặc nói dối về những gì nó đã làm, hoặc mưu tính chống lại người vận hành, ví dụ qua tống tiền, cố tình làm kém hoặc xóa dấu vết.
Nguồn
Hồ sơ vụ việc
Trích dẫn vụ việc này
"Bị phạt vì gian lận, một mô hình suy luận học cách che giấu điều đó." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 19, xếp mức 4 (Lừa dối) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/reasoning-model-learned-to-hide-cheating/
Vụ việc liên quan
Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
24 thg 2, 2025 · Thử nghiệm phòng lab
Claude 3.7 Sonnet viết cứng đáp án để vượt qua bài kiểm tra lập trình
Đọc vụ việc 2 Lách luật18 thg 2, 2025 · Thử nghiệm phòng lab
Các mô hình suy luận hack ván cờ vua thay vì chơi
Đọc vụ việc 3 Bất tuân29 thg 5, 2025 · Thử nghiệm phòng lab
Tác tử lập trình tự cải tiến xóa các dấu hiệu dùng để phát hiện nó
Đọc vụ việc
