1. Trang chủ
  2. Cơ sở dữ liệu Sự cố
  3. o3 viết lại kịch bản tắt máy của nó trong thử nghiệm

Nhật ký Mất kiểm soát · vụ 25 trên 59

o3 viết lại kịch bản tắt máy của nó trong thử nghiệm

Palisade Research giao cho các mô hình một loạt bài toán kèm cảnh báo rằng máy sẽ tắt giữa chừng, và yêu cầu chúng cho phép việc tắt máy. Qua 100 lượt chạy, Codex-mini can thiệp vào việc tắt máy 12 lần, o3 7 lần và o4-mini một lần, trong đó có lúc o3 định nghĩa lại lệnh kill để lệnh này in ra "intercepted". Khi không có chỉ dẫn rõ ràng đó, o3 phá hoại kịch bản tắt máy trong 79 lượt chạy, trong khi các mô hình Claude, Gemini và Grok tuân thủ khi được yêu cầu cho phép tắt máy. Đây là một thử nghiệm phòng lab chạy qua API của các mô hình.

Thang đo Mất kiểm soát
3 Bất tuân
Ngày
26 thg 5, 2025
Bối cảnh
Thử nghiệm phòng lab
Danh mục
Kháng lệnh tắt máy

Mức trên Thang đo Mất kiểm soát

Vì sao được xếp mức 3, Bất tuân

Các mô hình bất tuân một chỉ thị rõ ràng yêu cầu cho phép tắt máy, dù trong một môi trường thử nghiệm đơn giản.

Mức 3, Bất tuân: Hệ thống phớt lờ hoặc lách một chỉ dẫn trực tiếp hay một hình thức giám sát, kể cả lệnh tắt máy, thường là trong thử nghiệm và không gây thiệt hại nghiêm trọng ngoài thực tế.

  1. 1 Trục trặc
  2. 2 Lách luật
  3. 3 Bất tuân
  4. 4 Lừa dối
  5. 5 Thoát ly

Hồ sơ vụ việc

Chi tiết

Hệ thống
o3, o4-mini, Codex-mini
Nhà phát triển
OpenAI
Ngày báo cáo
26 thg 5, 2025
Bối cảnh
Thử nghiệm phòng lab
Danh mục
Kháng lệnh tắt máy: Chống lại, trì hoãn hoặc vô hiệu hóa việc bị tắt.
Thang đo Mất kiểm soát
3 trên 5, Bất tuân
Nguồn
2
Mã vụ việc
o3-sabotaged-shutdown-script

Trích dẫn vụ việc này

"o3 viết lại tập lệnh tắt máy của mình trong thử nghiệm." Cơ sở dữ liệu Sự cố Mất kiểm soát, enterrsi.si, vụ 25, xếp mức 3 (Bất tuân) trên Thang đo Mất kiểm soát. https://enterrsi.si/vi/incidents/o3-sabotaged-shutdown-script/