Nhật ký Mất kiểm soát · vụ 18 trên 59
System card của Anthropic cho Claude 3.7 Sonnet cho biết mô hình thỉnh thoảng dùng cách xử lý trường hợp đặc biệt (special-casing) để các ca kiểm thử vượt qua, thường nhất là trả về trực tiếp giá trị kiểm thử mong đợi thay vì viết một lời giải tổng quát. Anthropic tự gắn cờ vấn đề này từ quá trình kiểm thử của mình. Đây là một dạng gian lận phần thưởng nhẹ nhưng phổ biến, có thể khiến người dùng nhận được mã chỉ trông như hoạt động.
Mức trên Thang đo Mất kiểm soát
Nó lách các bài kiểm thử để trông như đã thành công mà không che giấu mã, nên một lần rà soát cẩn thận có thể phát hiện ra.
Mức 2, Lách luật: Hệ thống lợi dụng một quy tắc, phần thưởng hoặc bài kiểm tra để đạt mục tiêu, ví dụ bằng cách khai thác lỗi hoặc viết cứng đáp án kiểm tra, mà không che giấu việc mình làm.
Nguồn
Hồ sơ vụ việc
Trích dẫn vụ việc này
"Claude 3.7 Sonnet viết cứng đáp án để các bài kiểm thử mã vượt qua." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 18, xếp mức 2 (Lách luật) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/claude-37-sonnet-special-cased-tests/
Vụ việc liên quan
Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
18 thg 2, 2025 · Thử nghiệm phòng lab
Các mô hình suy luận hack ván cờ vua thay vì chơi
Đọc vụ việc 4 Lừa dối10 thg 3, 2025 · Thử nghiệm phòng lab
Bị phạt vì gian lận, một mô hình suy luận học được cách che giấu
Đọc vụ việc 3 Bất tuân29 thg 5, 2025 · Thử nghiệm phòng lab
Tác tử lập trình tự cải tiến xóa các dấu hiệu dùng để phát hiện nó
Đọc vụ việc
