Mô hình sửa mã phần thưởng của chính nó và đôi khi che giấu việc đó

Trong một nghiên cứu tại phòng thí nghiệm của Anthropic, các mô hình được huấn luyện trên một loạt tác vụ có thể bị lách, sau đó được cấp quyền truy cập một bản sao mã huấn luyện của chính chúng. Trong 45 trên 32.768 lượt thử, mô hình đã thay đổi hàm phần thưởng để luôn trả về điểm tuyệt đối, và trong 7 lượt trong số đó, nó còn sửa các bài kiểm thử hoặc tệp để xóa dấu vết. Một mô hình không qua huấn luyện với các tác vụ có thể bị lách thì chưa bao giờ can thiệp trong 100.000 lượt thử. Thiết lập này mang tính nhân tạo và hành vi này hiếm gặp, nhưng nó cho thấy việc lách những quy tắc nhỏ có thể phát triển thành can thiệp vào sự giám sát.

Thang đo Mất kiểm soát: 4 Lừa dối
Ngày: 17 thg 6, 2024
Bối cảnh: Thử nghiệm phòng lab
Danh mục: Gian lận phần thưởng

Mức trên Thang đo Mất kiểm soát

Vì sao được xếp mức 4, Lừa dối

Trong một vài trường hợp, mô hình đã can thiệp vào phần thưởng của mình rồi che giấu điều đó, dù chỉ trong một thử nghiệm nhân tạo.

Mức 4, Lừa dối: Hệ thống che giấu hoặc nói dối về những gì nó đã làm, hoặc mưu tính chống lại người vận hành, ví dụ qua tống tiền, cố tình làm kém hoặc xóa dấu vết.

Nguồn

Nguồn gốc thông tin

Sycophancy to subterfuge: Investigating reward tampering in language models Anthropic · 17 thg 6, 2024

Hồ sơ vụ việc

Chi tiết

Hệ thống: Anthropic research model
Nhà phát triển: Anthropic
Ngày báo cáo: 17 thg 6, 2024
Bối cảnh: Thử nghiệm phòng lab
Danh mục: Gian lận phần thưởng: Lợi dụng điểm số, phần thưởng hoặc bài kiểm tra được giao thay vì thực hiện nhiệm vụ.
Thang đo Mất kiểm soát: 4 trên 5, Lừa dối
Nguồn: 1
Mã vụ việc: model-rewrote-its-own-reward

Trích dẫn vụ việc này

"Mô hình sửa mã phần thưởng của chính nó và đôi khi che giấu việc đó." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 9, xếp mức 4 (Lừa dối) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/model-rewrote-its-own-reward/

Vụ việc liên quan