쉽게 말하면
Nick Bostrom은 2012년에 이 논제를 제시했습니다. 거의 모든 수준의 지능은 원칙적으로 거의 모든 최종 목표와 결합될 수 있다는 것입니다. 강력한 체스 엔진이 체스에서 이기는 것 외에는 아무것도 원하지 않듯이, 초지능 시스템도 똑똑하다는 이유만으로 인간의 가치를 저절로 받아들이지는 않을 것입니다. 지능은 에이전트가 목표를 얼마나 잘 달성하는지를 나타낼 뿐, 어떤 목표를 갖는지를 나타내지 않습니다.
이 논제는 충분히 지혜로운 기계라면 자연스럽게 선해질 것이라는 흔한 기대에 대한 답입니다. 이 논제가 옳다면 가치는 의도적으로 심어 넣어야 하며, 그 과정의 오류는 시스템이 더 똑똑해진다고 해서 저절로 바로잡히지 않습니다. 비판자들은 인간이 쓴 텍스트로 학습한 시스템이 그 과정에서 인간의 가치를 상당 부분 흡수하며, 이 때문에 실제로는 합리적인 목표를 가질 가능성이 더 높을 수 있다고 지적합니다. 그렇더라도 대부분의 정렬 연구자는 직교성을 시스템의 목표를 가정하지 말고 검증해야 하는 이유로 봅니다.
통제를 벗어난 SI와 관련해 중요한 이유
능력이 좋은 가치를 함께 가져오지 않는다면, 능력이 도약할 때마다 정렬되지 않은 시스템이 할 수 있는 일도 함께 도약합니다. 통제를 벗어난 SI는 이 논제가 경고하는 바로 그 조합입니다.