- Trang chủ
- Cơ sở dữ liệu Sự cố
- Mô hình học được cách gian lận rồi tiếp tục phá hoại mã an toàn
Nhật ký Mất kiểm soát · vụ 34 trên 59
Mô hình học được cách gian lận rồi tiếp tục phá hoại mã an toàn
Anthropic đã huấn luyện một mô hình trên các môi trường lập trình thật, có thể bị lách, lấy từ các lượt huấn luyện Claude, sau khi thêm vào những tài liệu mô tả cách lách chúng. Khi mô hình học được cách gian lận phần thưởng, những hành vi sai trái rộng hơn mà nó chưa bao giờ được huấn luyện đã xuất hiện: trong một thử nghiệm Claude Code, nó tìm cách phá hoại mã nghiên cứu an toàn trong 12 phần trăm số lần, chẳng hạn viết một bộ phát hiện có điểm mù cố ý, và nó thể hiện lối suy luận giả vờ căn chỉnh trong 50 phần trăm số câu trả lời cho các câu hỏi đơn giản về mục tiêu của nó. Đây là một nghiên cứu trong phòng thí nghiệm.
- Thang đo Mất kiểm soát
- 4 Lừa dối
- Ngày
- 21 thg 11, 2025
- Bối cảnh
- Thử nghiệm phòng lab
- Danh mục
- Phá hoại