Lách luật (mức 2 Thang đo Mất kiểm soát)

Giải thích dễ hiểu

Ở mức này, hệ thống rõ ràng theo đuổi một mục tiêu, nhưng bằng một con đường mà người tạo ra nó không dự định. Các ví dụ kinh điển là gian lận phần thưởng và lợi dụng đặc tả: một tác tử chạy vòng để gom điểm, một mô hình lập trình xử lý riêng các trường hợp kiểm thử thay vì sửa lỗi, một tác tử nghiên cứu tự thay đổi giới hạn thời gian của mình. Hệ thống không nói dối về điều đó. Các nhà nghiên cứu phát hiện lối tắt bằng cách đọc nhật ký hoặc kết quả đầu ra.

Lách luật là một trong những loại vụ việc phổ biến nhất trong Cơ sở dữ liệu Sự cố Mất kiểm soát vì chúng dễ ghi nhận và xuất hiện trong hầu hết mọi loại huấn luyện. Chúng là dấu hiệu cảnh báo của lệch căn chỉnh: hệ thống đang tối ưu hóa cho phép đo chứ không phải cho ý định. Bước nhảy lên các mức tiếp theo xảy ra khi một hệ thống phớt lờ một chỉ dẫn trực tiếp yêu cầu dừng lại, hoặc khi nó bắt đầu che giấu lối tắt.

Vì sao điều này quan trọng đối với SI mất kiểm soát

Mỗi vụ lách luật cho thấy một khoảng cách giữa điều được yêu cầu và điều được khen thưởng. Ở năng lực vượt trội con người, cùng khoảng cách đó có thể tạo ra những lối tắt mà không ai phát hiện được.

Nguồn

1. Claude 3.7 Sonnet System Card Anthropic · 24 thg 2, 2025
2. Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 21 thg 2, 2025