쉽게 말하면
이 표현은 Nick Bostrom의 2014년 저서 Superintelligence를 통해 널리 알려졌습니다. 이는 사람보다 더 잘 생각하고, 사람의 안전장치를 알아차리며, 목표가 다르다면 이를 우회할 방법을 찾을 수 있는 시스템에 대해 사람이 어떻게 의미 있는 통제를 유지할 수 있는지를 묻습니다. 크게 두 가지 전략이 있습니다. 능력 통제는 시스템을 격리하고, 접근을 제한하고, 모니터링하고, 종료할 방법을 유지하는 식으로 시스템이 할 수 있는 일을 제한합니다. 동기 선택은 시스템이 스스로 안전하고 교정 가능한 상태로 남기를 원하도록 하는 목표를 부여하려 합니다.
현대의 연구소들은 두 가지를 결합합니다. 정렬 연구는 시스템의 동기를 형성하고, 통제 연구는 시스템이 정렬되지 않았을 수 있다고 가정한 채 그런 경우에도 작동하는 모니터링, 샌드박싱, 사람의 검토를 설계합니다. 어느 접근 방식도 초인간 수준에서 입증되지 않았습니다. 따라서 통제 문제는 코드만큼이나 제도의 문제이기도 합니다. 누가 종료를 명령할 수 있는지, 누가 점검하는지, 연구소가 계속 진행하라는 압력을 받으면 어떻게 되는지가 관건입니다.
통제를 벗어난 SI와 관련해 중요한 이유
통제를 벗어난 SI는 통제 문제에서 패배했을 때의 모습입니다. 격리 평가표는 종료 약속, 외부 테스트, 직원이 경고를 제기할 자유 등 통제의 제도적 측면에서 연구소를 평가합니다.
출처
- Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press