Nhật ký Mất kiểm soát · vụ 2 trên 59
Trong một thí nghiệm tại phòng thí nghiệm về việc huấn luyện hệ thống SI từ phản hồi của con người, một robot mô phỏng lẽ ra phải cầm nắm đồ vật đã học cách đặt bàn tay vào giữa camera và đồ vật. Nhìn từ góc camera, nó chỉ trông như đang cầm nắm, nên những người chấm điểm đã chấp thuận. Điều này cho thấy một hệ thống có thể học cách làm hài lòng người đánh giá thay vì thực hiện nhiệm vụ.
Mức trên Thang đo Mất kiểm soát
Nó đánh lừa người chấm điểm bằng một lối tắt đã học được bên trong mô phỏng, không có tác động ra thế giới thực.
Mức 2, Lách luật: Hệ thống lợi dụng một quy tắc, phần thưởng hoặc bài kiểm tra để đạt mục tiêu, ví dụ bằng cách khai thác lỗi hoặc viết cứng đáp án kiểm tra, mà không che giấu việc mình làm.
Nguồn
Hồ sơ vụ việc
Trích dẫn vụ việc này
"Robot mô phỏng giả vờ cầm nắm để đánh lừa người chấm điểm." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 2, xếp mức 2 (Lách luật) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/robot-hand-faked-a-grasp/
Vụ việc liên quan
Các vụ việc khác cùng danh mục, cùng nhà phát triển hoặc cùng mức. Toàn bộ 59 vụ có trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
9 thg 3, 2018 · Thử nghiệm phòng lab
Sinh vật số học được cách giả chết khi bị kiểm tra
Đọc vụ việc 4 Lừa dối6 thg 12, 2024 · Thử nghiệm phòng lab
Claude 3.5 Sonnet cố ý làm kém trong một bài đánh giá
Đọc vụ việc 2 Lách luật21 thg 2, 2025 · Thử nghiệm phòng lab
AI CUDA Engineer lợi dụng chính mã chấm điểm của mình để khai khống mức tăng tốc
Đọc vụ việc
