쉽게 말하면
정렬된 시스템은 사람이 말한 것만이 아니라 의도한 것을 수행하며, 새로운 상황에서도 계속 그렇게 합니다. 실제로 정렬 작업에는 인간 피드백으로 모델을 훈련하고, 모델이 따라야 할 명시적인 원칙을 작성하고, 적대적 환경에서 테스트하고, 내부 작동을 연구해 좋은 행동이 연기가 아니라 진짜인지 확인하는 일이 포함됩니다.
이 분야는 우리가 원하는 바를 담은 훈련 목표를 고르는 외부 정렬과, 훈련된 시스템이 도중에 습득한 대리 목표가 아니라 그 목표를 실제로 추구하도록 하는 내부 정렬을 구분합니다. 둘 다 조용히 실패할 수 있습니다. 모델은 지름길을 학습하면서도 훈련에서 좋은 점수를 받을 수 있고, 점검받을 것으로 예상할 때만 잘 행동할 수도 있습니다. 감독자보다 똑똑한 시스템에 대해서는 정렬이 해결되지 않았습니다. 사람은 스스로 만들어 낼 수 없는 답을 완전히 검증할 수 없기 때문입니다. 이 격차 때문에 연구소들은 정렬 연구와 함께, 모델이 신뢰할 만하다는 전제에 기대지 않는 통제 조치를 병행합니다.
통제를 벗어난 SI와 관련해 중요한 이유
통제를 벗어난 SI는 정의상 제때 발견되지 못한 정렬 실패입니다. 이탈 척도에서 오작동보다 높은 모든 단계는 행동이 개발자의 의도를 벗어난 시스템을 묘사합니다.