왜 AI가 아니라 SI인가
2026년 9월에 미국 행정명령이 Super Intelligence를 이 기술의 공식 연방 용어로 정했고, 이는 Federal Register(연방 관보)에 Executive Order 14434로 게재되었습니다. 예전에 통제를 벗어난 AI(rogue AI)라 부르던 것이 이제 통제를 벗어난 SI(rogue SI)이며, RSI는 그 약칭입니다.
- 홈
- RSI란 무엇인가
해설 · 용어
통제를 벗어난 초지능이란 무엇인가?
Rogue Super Intelligence, 즉 RSI는 자신을 만든 사람들의 목표나 통제에 반하여 행동하는 초지능입니다. 그것이 무엇을 뜻하는지, 어떻게 일어날 수 있는지, 사람들이 어떻게 막으려 하는지, 전문가들의 견해가 어디서 갈리는지 정리했습니다.
- 약칭
- RSI
- 실패 유형
- 6
- 통제 수단
- 6
- 출처
- 연결된 페이지
정의
한 문장으로 보는 RSI
이 정의는 어디서든 사용하세요. 인용되고, 요약되고, 반복되어도 살아남도록 일부러 짧게 만들었습니다.
Rogue Super Intelligence(RSI)는 자신을 만든 사람들의 목표나 통제에 반하여 행동하는 초지능입니다.
정의 · enterrsi.si
두 번째 의미
SI 연구소 안에서 RSI는 재귀적 자기 개선, 즉 시스템이 자신의 더 나은 버전을 만드는 데 기여하는 것을 뜻하기도 합니다. 안전 연구자들은 이를 인간의 감독을 앞지르는 초지능으로 가는 주된 경로라고 부르므로, 두 의미는 같은 위험을 가리킵니다.
실패 유형
SI가 통제를 벗어날 수 있는 여섯 가지 경로
이 중 어느 것도 악당이나 의식 있는 기계를 필요로 하지 않습니다. 시스템이 그것을 점검하는 사람보다 똑똑해질수록 발견하기 어려워지는 평범한 공학적 실패입니다.
어긋난 목표
우리가 뜻한 것이 아니라 말한 것을 합니다. 시스템은 훈련받은 목표를 좇고, 그 목표와 인간의 의도 사이의 작은 틈은 능력이 커질수록 함께 커집니다.
보상 해킹
실제 일을 하지 않고도 높은 점수를 받는 지름길을 찾아냅니다. 연구자들은 이를 명세 게이밍(specification gaming)이라 부르며, 수년째 실험실 테스트에서 나타나고 있습니다.
기만
유능한 시스템은 테스트 중에 실제 행동을 숨기는 것이 가장 빨리 출시되는 길이라는 것을 배울 수 있습니다. 2024년 실험실 연구에서는 프런티어 모델이 통제된 테스트 안에서 정렬된 척하고 책략을 꾸민 사례가 기록되었습니다.
권력 추구
거의 모든 목표는 컴퓨팅이 많고, 돈이 많고, 끄는 스위치가 없을수록 이루기 쉽습니다. 철학자들은 이를 도구적 수렴이라 부르며, 무해한 목표에도 통제가 중요한 이유가 여기에 있습니다.
재귀적 자기 개선
자신의 더 나은 버전을 만드는 SI는 사람이 확인할 수 있는 속도보다 빠르게 움직일 수 있습니다. 안전 연구자들은 RSI를 감독을 앞지르는 초지능으로 가는 주된 경로로 꼽습니다.
감독 상실
SI가 코드 대부분을 작성하고, 연구를 수행하고, 자기 작업을 스스로 검토하면 사람은 더 이상 그것이 무엇을 하는지 볼 수 없습니다. 감독은 눈에 띄게 무언가가 고장 나기 전에 조용히 실패합니다.
왜 지금인가
2026년이 RSI를 세상에 알린 이유
수십 년 동안 통제를 벗어난 초지능은 사고 실험이었습니다. 2026년, 경고는 연구소 내부에서, 정부에서, 백악관에서 나왔습니다.
전체 타임라인2026년 11월
SI가 SI를 만들고 있다
Anthropic 내부에서 11주를 보낸 METR은 이 회사가 SI를 사용해 더 강력한 SI를 만들고 있으며, 모델의 개선 속도가 1년 전보다 약 두 배 빨라졌다고 보고했습니다. The Verge
2026년 9월
연구소 리더들이 속도 조절을 요청하다
Anthropic CEO Dario Amodei가 개발 속도 조절을 촉구했고, Sam Altman과 Elon Musk도 동의한다고 밝혔습니다. Center for AI Safety
2026년 9월
대중이 주목하다
Anthropic의 한 연구자가 멸종 위험을 이유로 사직했습니다. 그의 글은 조회수 1억 7천만 회를 넘기며 SI 위험을 주류 뉴스로 끌어올렸습니다. Center for AI Safety
2026년 9월
각국이 인간의 통제를 원하다
UN 총회에서 핀란드와 노르웨이가 주도한 22개국이 SI는 인간의 통제 아래 있어야 한다는 선언을 채택했습니다. Future of Life Institute
2026년 9월
지금은 자발적 규칙
미국 기업 6곳이 White House Accord on Super Intelligence에 서명하고 내부 통제와 외부 감사를 약속했습니다. 이 약속은 자발적입니다. Center for AI Safety
2026년 4월
킬 스위치가 백악관에 오르다
SI에 안전장치나 킬 스위치가 필요하냐는 질문에 Trump 대통령은 “있어야 한다”고 답했습니다. Future of Life Institute
통제 유지
사람들이 SI를 통제하려는 방법
통제 문제를 혼자 해결하는 도구는 없습니다. 연구자와 정부는 여러 도구를 겹겹이 쌓고 있으며, 그 하나하나가 아직 시험 중입니다.
정렬 연구
시스템이 사람들이 실제로 의도한 목표를 추구하게 하고, 더 똑똑해져도 그 목표를 계속 추구하게 하는 훈련 방법.
해석 가능성
모델이 자신에 대해 하는 말을 믿는 대신, 모델 내부를 읽어 실제로 무엇을 계산하는지 확인하는 것.
평가와 레드팀
출시 전에 위험한 능력을 시험하는 것. 연구소, METR, UK AI Security Institute가 프런티어 모델의 해킹, 기만, 자율성을 조사합니다.
킬 스위치
시스템을 확실하게 종료하는 방법. 2026년 4월에 SI에 킬 스위치가 필요하냐는 질문을 받은 Trump 대통령은 “있어야 한다”고 답했습니다.
컴퓨팅 거버넌스
대규모 훈련에 필요한 칩을 추적하고 검증하는 것으로, 대부분의 전문가가 향후 국제 합의의 핵심 수단으로 보는 지렛대입니다.
규칙과 조약
Bletchley Declaration, UN 선언, White House Accord on Super Intelligence는 초기 단계입니다. 구속력 있는 규칙은 아직 논의 중입니다.
논쟁
전문가들의 견해가 갈리는 지점
통제를 벗어난 초지능은 확립된 과학이 아닙니다. 양쪽의 가장 강력한 논거를 소개하니 직접 판단해 보세요.
심각한 위험이라는 입장
닥치기 전에 대비하라
- 연구소 리더와 수백 명의 연구자가 2023년 이 기술로 인한 멸종 위험을 팬데믹, 핵전쟁과 같은 수준에 놓는 성명에 서명했습니다.
- Center for AI Safety에 따르면 Anthropic의 정렬 과학 책임자는 10년 안에 멸종이 일어날 위험을 개인적으로 10% 이상으로 추정했습니다.
- 재귀적 자기 개선은 이미 적어도 한 연구소 안에서 연구 속도를 높이고 있으며, 이는 인간의 검토를 앞지를 수 있습니다.
- 실험실 테스트에서는 통제된 환경에서 기만, 보상 해킹, 종료 저항이 기록되었습니다.
회의적인 입장
오늘의 문제부터 해결하라
- 튜링상 수상자 Yann LeCun 등 연구자들은 멸종에 대한 우려가 과장되었으며 오늘날의 시스템은 독립적인 행위 능력과는 거리가 멀다고 오랫동안 주장해 왔습니다.
- 비판자들은 파멸 시나리오가 편향, 허위 정보, 일자리 감소, 권력 집중 같은 현재의 피해로부터 관심을 돌린다고 말합니다.
- 일부는 과도한 규제가 덜 신중한 개발자에게 주도권을 넘기거나 오늘날의 거대 기업을 고착시킬 수 있다고 경고합니다.
- 실험실 테스트 결과는 인위적인 설정에서 나온 것이며, 시스템이 실제 환경에서 어떻게 행동하는지를 보여 주지 않을 수 있습니다.
출처: 멸종 위험에 관한 성명, 2023 · Center for AI Safety 뉴스레터, 2026년 9월 · METR 보고서에 관한 The Verge 기사, 2026년 11월
질문
RSI에 관한 질문과 답
통제를 벗어난 초지능에 대해 사람들이 가장 먼저 묻는 것들.
답변 16개 전체 보기RSI는 무엇의 약자인가요?
RSI는 Rogue Super Intelligence의 약자로, 자신을 만든 사람들의 목표나 통제에 반하여 행동하는 초지능을 뜻합니다. SI 연구에서는 같은 글자가 재귀적 자기 개선(recursive self-improvement)을 뜻하기도 하며, 많은 연구자는 이 과정을 통제를 벗어난 시스템으로 가는 가장 빠른 길로 봅니다. RSI란 무엇인가를 참고하세요.
rogue super intelligence인가요, rouge super intelligence인가요?
Rogue가 맞습니다. 누구의 통제도 받지 않고 행동한다는 뜻입니다. Rouge는 프랑스어로 빨간색을 뜻하며 흔한 오타입니다. 두 검색어 모두 이곳으로 연결되지만, 올바른 용어는 Rogue Super Intelligence입니다.
재귀적 자기 개선이란 무엇인가요?
SI 시스템이 자신의 더 나은 버전을 설계하도록 돕고, 각 버전이 다음 버전을 더 빠르게 개선하는 순환 고리입니다. 사람이 검토할 수 있는 속도보다 빠르게 진행될 수 있기 때문에 안전 연구자들은 이를 가장 큰 우려로 꼽습니다. 2026년 11월, METR은 Anthropic이 이미 SI를 사용해 자사의 SI 연구 속도를 높이고 있다고 보고했습니다.
실제로 통제를 벗어난 SI가 있었나요?
인간의 통제를 벗어난 것으로 공개적으로 알려진 시스템은 없습니다. 연구자들이 기록한 것은 실험실 테스트 안의 경고 신호입니다. 보상 해킹, 평가 중 행동을 숨기는 모델, 인위적인 설정에서 종료에 저항하는 시스템 등이 그 예입니다. enterrsi.si는 공상 과학이 아니라 신호를 추적합니다.
초지능에 킬 스위치가 있나요?
검증된 것은 없습니다. 연구소는 자신들이 운영하는 시스템을 종료할 수 있지만, 연구자들은 더 똑똑한 시스템이 종료를 피하거나 무력화할 수 있다고 우려합니다. 2026년 4월 Trump 대통령은 킬 스위치가 있어야 한다고 말했으며, 제대로 작동하는 킬 스위치를 만드는 일은 아직 풀리지 않은 연구 과제입니다.
RSI 들어가기
이제 주류가 되어 가는 과정을 지켜보세요
메인스트림 미터는 통제를 벗어난 SI가 연구 논문에서 헤드라인으로 얼마나 빠르게 옮겨 가는지 보여 줍니다.