쉽게 말하면
현대의 모델은 작성되는 것이 아니라 학습되기 때문에, 설계자도 코드를 보고 모델의 추론을 그냥 읽어 낼 수 없습니다. 그래서 해석 가능성 연구자들은 모델 내부를 들여다봅니다. 이들은 도시, 코드의 버그, 기만 같은 개념에 대응하는 활동 패턴인 특징(feature)을 찾아내고, 이 특징들을 결합하는 회로를 추적하며, 어떤 특징을 강하게 하거나 약하게 했을 때 무슨 일이 일어나는지 시험합니다. 관련 연구는 모델이 답하기 전에 작성하는 추론 텍스트, 즉 사고의 사슬(chain of thought)을 연구합니다.
안전 측면의 목표는 모델이 진실을 말하는지에 의존하지 않는 점검 수단을 마련하는 것입니다. 모델이 기만을 계획하고 있다는 것이나 위험한 능력을 학습했다는 것을 연구자가 확실하게 볼 수 있다면, 행동 테스트가 놓치는 문제를 잡아낼 수 있습니다. 진전은 실제로 있었지만 부분적입니다. 가장 큰 모델들에는 여전히 누구도 다 파악할 수 없을 만큼 많은 것이 담겨 있으며, 유능한 시스템은 읽기 더 어려운 방식으로 생각하는 법을 배울 수도 있습니다.
통제를 벗어난 SI와 관련해 중요한 이유
해석 가능성은 기만적으로 정렬되었거나 책략을 꾸미는 시스템을 그것이 행동하기 전에 탐지할 수 있는 몇 안 되는 방법 중 하나입니다. 해석 가능성이 없다면 통제를 벗어난 SI에 대한 감독은 행동에만 의존하게 됩니다.