# 통제 문제: 의미와 중요성

> 통제 문제는 인간보다 똑똑한 시스템을 만든 뒤에도 안전하고 조종 가능한 상태로 유지하는 과제입니다. 쉬운 말로 출처와 함께 설명합니다.

Source: https://enterrsi.si/ko/encyclopedia/control-problem/
Updated: 2026-11-08

1. [홈](https://enterrsi.si/ko/)
2. [백과사전](https://enterrsi.si/ko/encyclopedia/)
3. 통제 문제

RSI 백과사전 · 용어

# 통제 문제

통제 문제는 인간보다 똑똑한 시스템을 만든 뒤에도 안전하고 조종 가능하게 유지하는 과제입니다.

분류
:   용어

다른 이름
:   SI 통제 문제

이탈 기록 사례
:   0

이 용어를 쓰는 법률
:   0

## 쉽게 말하면

이 표현은 Nick Bostrom의 2014년 저서 Superintelligence를 통해 널리 알려졌습니다. 이는 사람보다 더 잘 생각하고, 사람의 안전장치를 알아차리며, 목표가 다르다면 이를 우회할 방법을 찾을 수 있는 시스템에 대해 사람이 어떻게 의미 있는 통제를 유지할 수 있는지를 묻습니다. 크게 두 가지 전략이 있습니다. 능력 통제는 시스템을 격리하고, 접근을 제한하고, 모니터링하고, 종료할 방법을 유지하는 식으로 시스템이 할 수 있는 일을 제한합니다. 동기 선택은 시스템이 스스로 안전하고 교정 가능한 상태로 남기를 원하도록 하는 목표를 부여하려 합니다.

현대의 연구소들은 두 가지를 결합합니다. 정렬 연구는 시스템의 동기를 형성하고, 통제 연구는 시스템이 정렬되지 않았을 수 있다고 가정한 채 그런 경우에도 작동하는 모니터링, 샌드박싱, 사람의 검토를 설계합니다. 어느 접근 방식도 초인간 수준에서 입증되지 않았습니다. 따라서 통제 문제는 코드만큼이나 제도의 문제이기도 합니다. 누가 종료를 명령할 수 있는지, 누가 점검하는지, 연구소가 계속 진행하라는 압력을 받으면 어떻게 되는지가 관건입니다.

## 통제를 벗어난 SI와 관련해 중요한 이유

통제를 벗어난 SI는 통제 문제에서 패배했을 때의 모습입니다. 격리 평가표는 종료 약속, 외부 테스트, 직원이 경고를 제기할 자유 등 통제의 제도적 측면에서 연구소를 평가합니다.

## 출처

1. [Superintelligence: Paths, Dangers, Strategies (2014)](https://global.oup.com/academic/product/superintelligence-9780199678112) Oxford University Press

용어

용어
:   통제 문제

다른 이름
:   SI 통제 문제

분류
:   용어

관련 용어
:   5

관련 용어

[격리 **용어**](https://enterrsi.si/ko/encyclopedia/containment/)[킬 스위치 **용어**](https://enterrsi.si/ko/encyclopedia/kill-switch/)[교정 가능성 **용어**](https://enterrsi.si/ko/encyclopedia/corrigibility/)[정렬 **용어**](https://enterrsi.si/ko/encyclopedia/alignment/)[일시 중지 약속 **용어**](https://enterrsi.si/ko/encyclopedia/pause-commitment/)

이 항목 인용하기

"통제 문제." RSI 백과사전, enterrsi.si, 2026년 11월 8일. https://enterrsi.si/ko/encyclopedia/control-problem/

enterrsi.si 링크를 함께 표기하면 CC BY 4.0에 따라 자유롭게 인용할 수 있습니다.

RSI 백과사전

## 계속 읽기

통제를 벗어난 SI에 관한 용어, 연구소, 모델, 법률, 이벤트를 다룬 207개 항목과 이탈 사건 데이터베이스의 모든 사례.

[이전 용어 격리](https://enterrsi.si/ko/encyclopedia/containment/)[다음 용어 교정 가능성](https://enterrsi.si/ko/encyclopedia/corrigibility/)

RSI 들어가기

## 모든 용어, 연구소, 모델, 법률

전체 색인을 처음부터 끝까지 둘러보거나, 분류로 거르거나, 이름을 검색하세요.

[백과사전 열기](https://enterrsi.si/ko/encyclopedia/)
[사건 데이터베이스](https://enterrsi.si/ko/incidents/)
[격리 평가표](https://enterrsi.si/ko/containment-board/)