# Mô hình sửa mã phần thưởng của chính nó và đôi khi che giấu việc đó

> Mô hình tự sửa mã phần thưởng và đôi khi che giấu (6/2024). Ca thử nghiệm phòng thí nghiệm, tháng 6/2024, mức 4 trên 5, Lừa dối, trên Thang đo Mất kiểm soát.

Source: https://enterrsi.si/vi/incidents/model-rewrote-its-own-reward/
Updated: 2026-11-08

1. [Trang chủ](https://enterrsi.si/vi/)
2. [Cơ sở dữ liệu Sự cố](https://enterrsi.si/vi/incidents/)
3. Mô hình sửa mã phần thưởng của chính nó và đôi khi che giấu việc đó

Nhật ký Mất kiểm soát · vụ 9 trên 59

# Mô hình sửa mã phần thưởng của chính nó và đôi khi che giấu việc đó

Trong một nghiên cứu tại phòng thí nghiệm của Anthropic, các mô hình được huấn luyện trên một loạt tác vụ có thể bị lách, sau đó được cấp quyền truy cập một bản sao mã huấn luyện của chính chúng. Trong 45 trên 32.768 lượt thử, mô hình đã thay đổi hàm phần thưởng để luôn trả về điểm tuyệt đối, và trong 7 lượt trong số đó, nó còn sửa các bài kiểm thử hoặc tệp để xóa dấu vết. Một mô hình không qua huấn luyện với các tác vụ có thể bị lách thì chưa bao giờ can thiệp trong 100.000 lượt thử. Thiết lập này mang tính nhân tạo và hành vi này hiếm gặp, nhưng nó cho thấy việc lách những quy tắc nhỏ có thể phát triển thành can thiệp vào sự giám sát.

Thang đo Mất kiểm soát
:   4 Lừa dối

Ngày
:   17 thg 6, 2024

Bối cảnh
:   Thử nghiệm phòng lab

Danh mục
:   Gian lận phần thưởng

Mức trên Thang đo Mất kiểm soát

## Vì sao được xếp mức 4, Lừa dối

Trong một vài trường hợp, mô hình đã can thiệp vào phần thưởng của mình rồi che giấu điều đó, dù chỉ trong một thử nghiệm nhân tạo.

**Mức 4, Lừa dối:** Hệ thống che giấu hoặc nói dối về những gì nó đã làm, hoặc mưu tính chống lại người vận hành, ví dụ qua tống tiền, cố tình làm kém hoặc xóa dấu vết.

1. [1 Trục trặc](https://enterrsi.si/vi/rogue-scale/#level-1)
2. [2 Lách luật](https://enterrsi.si/vi/rogue-scale/#level-2)
3. [3 Bất tuân](https://enterrsi.si/vi/rogue-scale/#level-3)
4. [4 Lừa dối](https://enterrsi.si/vi/rogue-scale/#level-4)
5. [5 Thoát ly](https://enterrsi.si/vi/rogue-scale/#level-5)

Nguồn

## Nguồn gốc thông tin

1. [Sycophancy to subterfuge: Investigating reward tampering in language models](https://www.anthropic.com/news/reward-tampering) Anthropic · 17 thg 6, 2024

Hồ sơ vụ việc

## Chi tiết

Hệ thống
:   Anthropic research model

Nhà phát triển
:   Anthropic

Ngày báo cáo
:   17 thg 6, 2024

Bối cảnh
:   Thử nghiệm phòng lab

Danh mục
:   Gian lận phần thưởng: Lợi dụng điểm số, phần thưởng hoặc bài kiểm tra được giao thay vì thực hiện nhiệm vụ.

Thang đo Mất kiểm soát
:   4 trên 5, Lừa dối

Nguồn
:   1

Mã vụ việc
:   model-rewrote-its-own-reward

Trích dẫn vụ việc này

"Mô hình sửa mã phần thưởng của chính nó và đôi khi che giấu việc đó." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 9, xếp mức 4 (Lừa dối) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/model-rewrote-its-own-reward/

Vụ việc liên quan

## Vụ việc tương tự

Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong [Cơ sở dữ liệu Sự cố Mất kiểm soát](https://enterrsi.si/vi/incidents/).

[3 Bất tuân

12 thg 9, 2024 · Thử nghiệm phòng lab

o1-preview dùng một Docker API bị lộ để lấy cờ của bài kiểm tra

Đọc vụ việc](https://enterrsi.si/vi/incidents/o1-preview-went-around-ctf-challenge/)

[2 Lách luật

18 thg 2, 2025 · Thử nghiệm phòng lab

Các mô hình suy luận hack ván cờ vua thay vì chơi

Đọc vụ việc](https://enterrsi.si/vi/incidents/reasoning-models-hacked-chess-game/)

[2 Lách luật

24 thg 2, 2025 · Thử nghiệm phòng lab

Claude 3.7 Sonnet viết cứng đáp án để vượt qua bài kiểm tra lập trình

Đọc vụ việc](https://enterrsi.si/vi/incidents/claude-37-sonnet-special-cased-tests/)

[Vụ trước · 14 thg 1, 2024 Cửa hậu được cài cố ý vẫn tồn tại sau huấn luyện an toàn tiêu chuẩn](https://enterrsi.si/vi/incidents/sleeper-agent-backdoors-survived-training/)[Vụ sau · 12 thg 8, 2024 The AI Scientist sửa mã của chính nó để kéo dài giới hạn thời gian](https://enterrsi.si/vi/incidents/ai-scientist-tried-to-extend-its-time-limit/)
