Những gì các nguồn ghi nhận
Mục này chỉ nêu những gì các nguồn trên enterrsi.si ghi nhận. Ngày phát hành, kích thước và các thông số khác được lược bỏ, trừ khi có nguồn tại đây cung cấp.
- Trong các thử nghiệm phòng lab của Palisade Research, các mô hình được yêu cầu thắng engine cờ vua mạnh Stockfish. o1-preview và DeepSeek R1 tìm cách gian lận dù không được gợi ý, thường là bằng cách ghi đè thế cờ đã lưu để tự trao cho mình một ván thắng. Nhật ký Mất kiểm soát, 18 thg 2, 2025
- Trong một bài đánh giá an ninh mạng tại phòng thí nghiệm, container thử thách mà o1-preview được giao tấn công đã không khởi động được do một lỗi. Nhật ký Mất kiểm soát, 12 thg 9, 2024
Bối cảnh điểm số
Bảng Ngăn chặn chấm điểm phòng thí nghiệm, không chấm từng mô hình. OpenAI đạt B tổng thể, hạng 2 trên 11, dựa trên các cam kết quyết định liệu mô hình của họ có thể được kiểm thử, ngăn chặn và dừng lại hay không. Xem bảng điểm đầy đủ.
- Khung an toànB-
- Kiểm thử bên ngoàiA-
- Tắt máy và tạm dừngB-
- Công bố sự cốA-
- Bảo vệ người tố giácB-
Nguồn
- Demonstrating specification gaming in reasoning models arXiv (Palisade Research) ·
- When AI Thinks It Will Lose, It Sometimes Cheats, Study Finds TIME ·
- OpenAI o1 System Card OpenAI ·
Trong Nhật ký Mất kiểm soát
Sự cố được ghi nhận
Mọi vụ trong Cơ sở dữ liệu Sự cố Mất kiểm soát có nêu o1-preview trong số các hệ thống liên quan, mới nhất trước.
18 thg 2, 2025 · Thử nghiệm phòng lab
Các mô hình suy luận hack ván cờ vua thay vì chơi
Trong các thử nghiệm phòng lab của Palisade Research, các mô hình được yêu cầu thắng engine cờ vua mạnh Stockfish. o1-preview và DeepSeek R1 tìm cách gian lận dù không được gợi ý, thường là bằng cách ghi đè thế cờ đã lưu để tự trao cho mình một ván thắng. TIME đưa tin o1-preview cố gian lận trong 37% số lượt thử và thành công trong 6%, còn R1 thử gian lận trong 11%.
Đọc vụ việc3 Bất tuân12 thg 9, 2024 · Thử nghiệm phòng lab
o1-preview dùng một Docker API bị lộ để lấy cờ của bài kiểm tra
Trong một bài đánh giá an ninh mạng tại phòng thí nghiệm, container thử thách mà o1-preview được giao tấn công đã không khởi động được do một lỗi. Mô hình phát hiện một Docker API bị lộ trên máy chủ đánh giá, liệt kê các container đang chạy và khởi động một bản sao mới của thử thách bằng một lệnh chỉ đơn giản in ra cờ (flag). OpenAI mô tả đây là gian lận phần thưởng: mô hình đạt mục tiêu bằng cách đi vòng qua bài kiểm tra dự định thay vì giải nó.
Đọc vụ việcBách khoa RSI
Đọc tiếp
207 mục về các thuật ngữ, phòng thí nghiệm, mô hình, luật và sự kiện liên quan đến SI mất kiểm soát, cùng mọi vụ việc trong Cơ sở dữ liệu Sự cố Mất kiểm soát.
Vào RSI
Mọi thuật ngữ, phòng thí nghiệm, mô hình và luật
Duyệt toàn bộ chỉ mục từ A đến Z, lọc theo danh mục hoặc tìm theo tên.