Khả năng diễn giải

Giải thích dễ hiểu

Các mô hình hiện đại được huấn luyện chứ không được viết ra, nên người thiết kế không thể đơn giản đọc lập luận của chúng từ mã nguồn. Thay vào đó, các nhà nghiên cứu khả năng diễn giải nhìn vào bên trong. Họ xác định các đặc trưng (feature), tức những mẫu hoạt động tương ứng với các khái niệm như một thành phố, một lỗi trong mã hay sự lừa dối, lần theo các mạch kết hợp chúng và kiểm tra điều gì xảy ra khi một đặc trưng được tăng hoặc giảm. Các nghiên cứu liên quan xem xét đoạn văn bản lập luận mà mô hình viết ra trước khi trả lời, được gọi là chuỗi suy luận (chain of thought).

Mục tiêu về mặt an toàn là có một phép kiểm tra không phụ thuộc vào việc mô hình nói thật. Nếu các nhà nghiên cứu có thể thấy một cách đáng tin cậy rằng một mô hình đang lên kế hoạch lừa dối, hoặc rằng nó đã học được một năng lực nguy hiểm, họ có thể phát hiện những vấn đề mà các bài kiểm tra hành vi bỏ sót. Tiến bộ là có thật nhưng mới chỉ một phần: các mô hình lớn nhất vẫn chứa nhiều hơn rất nhiều so với những gì bất kỳ ai có thể lập bản đồ, và một hệ thống có năng lực có thể học cách suy nghĩ theo những lối khó đọc hơn.

Vì sao điều này quan trọng đối với SI mất kiểm soát

Khả năng diễn giải là một trong số ít cách để phát hiện một hệ thống căn chỉnh lừa dối hoặc đang mưu tính ngầm trước khi nó hành động. Thiếu nó, việc giám sát SI mất kiểm soát chỉ còn dựa vào hành vi.