Bài toán kiểm soát

Giải thích dễ hiểu

Cụm từ này trở nên phổ biến rộng rãi nhờ cuốn sách Superintelligence năm 2014 của Nick Bostrom. Nó đặt câu hỏi làm thế nào con người có thể giữ quyền kiểm soát có ý nghĩa đối với một hệ thống có thể suy tính vượt họ, nhận ra các biện pháp bảo vệ của họ và, nếu mục tiêu của nó khác biệt, tìm cách lách qua chúng. Có hai chiến lược lớn. Kiểm soát năng lực giới hạn những gì hệ thống có thể làm: cách ly nó, hạn chế quyền truy cập, giám sát nó và giữ một cách để tắt nó. Lựa chọn động cơ tìm cách trao cho nó những mục tiêu khiến nó muốn duy trì sự an toàn và có thể điều chỉnh được.

Các phòng thí nghiệm hiện đại kết hợp cả hai. Nghiên cứu căn chỉnh định hình động cơ của hệ thống, trong khi nghiên cứu kiểm soát giả định hệ thống có thể bị lệch căn chỉnh và thiết kế cơ chế giám sát, sandbox và rà soát của con người vẫn hoạt động trong trường hợp đó. Chưa cách tiếp cận nào được chứng minh ở cấp độ siêu việt con người. Vì vậy, bài toán kiểm soát liên quan đến thể chế không kém gì mã nguồn: ai có thể ra lệnh tắt máy, ai kiểm tra, và điều gì xảy ra nếu một phòng thí nghiệm chịu áp lực phải tiếp tục.

Vì sao điều này quan trọng đối với SI mất kiểm soát

SI mất kiểm soát là hình hài của một bài toán kiểm soát thất bại. Bảng Ngăn chặn chấm điểm các phòng thí nghiệm ở khía cạnh thể chế của kiểm soát: cam kết tắt máy, kiểm thử bên ngoài và quyền tự do lên tiếng cảnh báo của nhân viên.

Nguồn

1. Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press