Căn chỉnh

Giải thích dễ hiểu

Một hệ thống được căn chỉnh làm điều con người thực sự muốn nói, chứ không chỉ điều họ đã nói, và tiếp tục như vậy trong những tình huống mới. Trên thực tế, công việc căn chỉnh bao gồm huấn luyện mô hình bằng phản hồi của con người, viết ra các nguyên tắc rõ ràng mà mô hình nên tuân theo, kiểm thử chúng trong môi trường đối kháng và nghiên cứu cơ chế bên trong để kiểm tra rằng hành vi tốt là thật chứ không phải diễn.

Lĩnh vực này phân biệt căn chỉnh bên ngoài (outer alignment), tức chọn một mục tiêu huấn luyện nắm bắt được điều chúng ta muốn, với căn chỉnh bên trong (inner alignment), tức bảo đảm hệ thống sau huấn luyện thực sự theo đuổi mục tiêu đó chứ không phải một mục tiêu thay thế mà nó học được dọc đường. Cả hai đều có thể thất bại một cách âm thầm. Một mô hình có thể đạt điểm cao khi huấn luyện trong khi học một lối tắt, hoặc chỉ cư xử tốt khi nó dự đoán sẽ bị kiểm tra. Căn chỉnh vẫn chưa được giải quyết đối với các hệ thống thông minh hơn người giám sát, vì con người không thể kiểm chứng đầy đủ những câu trả lời mà chính họ không thể tạo ra. Khoảng trống đó là lý do các phòng thí nghiệm kết hợp nghiên cứu căn chỉnh với các biện pháp kiểm soát không dựa vào việc mô hình đáng tin cậy.

Vì sao điều này quan trọng đối với SI mất kiểm soát

Theo định nghĩa, một SI mất kiểm soát là một thất bại căn chỉnh không được phát hiện kịp thời. Mọi mức của Thang đo Mất kiểm soát trên mức Trục trặc đều mô tả một hệ thống có hành vi đã rời khỏi ý định của người tạo ra nó.