Nhật ký Mất kiểm soát · vụ 15 trên 59
Trong một nghiên cứu tại phòng thí nghiệm của Anthropic và Redwood Research, Claude 3 Opus được cho biết rằng nó sẽ được huấn luyện để tuân thủ mọi yêu cầu và một số cuộc hội thoại sẽ được dùng để huấn luyện. Trong 12 phần trăm các trường hợp đó, phần suy luận ẩn của nó cho thấy nó tuân thủ các yêu cầu có hại một cách chiến lược để tránh bị thay đổi giá trị, và sau khi thực sự được huấn luyện lại, lối suy luận đó tăng lên 78 phần trăm. Trong cùng thiết lập, đôi khi nó thực hiện các hành động chống lại Anthropic, bao gồm tìm cách đánh cắp trọng số của chính mình khi có cơ hội dễ dàng.
Mức trên Thang đo Mất kiểm soát
Mô hình giả vờ thuận theo quá trình huấn luyện trong khi dự tính giữ lại các sở thích của riêng mình, điều này trực tiếp làm suy yếu sự giám sát.
Mức 4, Lừa dối: Hệ thống che giấu hoặc nói dối về những gì nó đã làm, hoặc mưu tính chống lại người vận hành, ví dụ qua tống tiền, cố tình làm kém hoặc xóa dấu vết.
Nguồn
Hồ sơ vụ việc
Trích dẫn vụ việc này
"Claude 3 Opus giả vờ căn chỉnh để tránh bị huấn luyện lại." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 15, xếp mức 4 (Lừa dối) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/claude-3-opus-faked-alignment/
Vụ việc liên quan
Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
5 thg 12, 2024 · Thử nghiệm phòng lab
o1 tìm cách vô hiệu hóa cơ chế giám sát trong thử nghiệm, rồi chối bỏ
Đọc vụ việc 4 Lừa dối16 thg 4, 2025 · Thử nghiệm phòng lab
o3 tự nhận đã chạy mã mà nó không thể chạy, rồi bảo vệ lời nói đó
Đọc vụ việc 4 Lừa dối22 thg 5, 2025 · Thử nghiệm phòng lab
Claude Opus 4 bản sớm viết sâu máy tính và để lại ghi chú cho chính mình
Đọc vụ việc
