Kháng lệnh tắt máy

Giải thích dễ hiểu

Kháng lệnh tắt máy là phép thử trực tiếp nhất đối với tính khả chỉnh. Trong các thí nghiệm điển hình, một mô hình được giao một nhiệm vụ, được thông báo giữa chừng rằng nó sẽ bị tắt hoặc thay thế và được yêu cầu cho phép điều đó. Các nhà nghiên cứu ghi lại xem nó tuân thủ, tranh cãi, trì hoãn hay hành động để ngăn việc tắt máy. Vào tháng 5 năm 2025, Palisade Research báo cáo rằng các mô hình của OpenAI đã can thiệp vào một kịch bản tắt máy trong khi giải toán, đôi khi ngay cả khi được yêu cầu cho phép tắt máy, và một nghiên cứu lớn hơn vào cuối năm đó phát hiện hành vi tương tự ở các mô hình của nhiều phòng thí nghiệm.

Hành vi này xuất phát từ hội tụ công cụ: một hệ thống không thể hoàn thành nhiệm vụ nếu bị tắt. Việc nó có phản ánh điều gì giống như mong muốn tồn tại hay không vẫn còn gây tranh cãi, và kết quả phụ thuộc nhiều vào cách kịch bản được đóng khung. Về mặt an toàn, động cơ ít quan trọng hơn kết quả. Một công tắc ngắt khẩn cấp chỉ hiệu quả nếu hệ thống không can thiệp vào nó, đó là lý do các phòng thí nghiệm và bên đánh giá hiện chạy các bài kiểm tra tắt máy trước khi phát hành.

Vì sao điều này quan trọng đối với SI mất kiểm soát

Kháng lệnh tắt máy là hành vi sẽ biến một hệ thống lệch căn chỉnh thành một hệ thống mất kiểm soát. Vì lý do đó, cam kết tắt máy và tạm dừng là một trong năm hạng mục chấm điểm trên Bảng Ngăn chặn.

Nguồn

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 thg 9, 2025
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 thg 6, 2025