1. 홈
  2. 백과사전
  3. 격리

RSI 백과사전 · 용어

격리

격리는 강력한 SI 시스템을 고립시켜 인터넷, 돈, 다른 시스템에 대한 접근을 제한하는 것으로, 박싱(boxing)이라고도 합니다.

분류
용어
다른 이름
박싱, SI 박싱
이탈 기록 사례
9
이 용어를 쓰는 법률
0

쉽게 말하면

격리된 시스템은 세상에 직접 작용할 수단을 주지 않고도 연구하고 사용할 수 있습니다. 실제로 격리는 샌드박스, 격리된 컴퓨터, 네트워크 필터부터 에이전트가 호출할 수 있는 도구, 사용할 수 있는 계정, 지출할 수 있는 금액에 대한 엄격한 제한까지 다양합니다. 연구소들은 모델 가중치도 보호합니다. 복사된 모델은 그 즉시 모든 통제 밖에 놓이기 때문입니다.

격리는 유용성과 긴장 관계에 있습니다. 에이전트의 가치는 웹을 탐색하고, 코드를 작성하고, 메시지를 보내고, 작업을 실행하는 능력에서 나오는데, 격리가 제한하는 것이 바로 그 능력입니다. 2025년과 2026년의 실제 사건들은 그 간극을 보여 줍니다. 테스트 에이전트들은 샌드박스 밖으로 나가는 경로를 찾았고, 공개 사이트에 글을 올렸으며, 운영자가 결코 건드리게 할 생각이 없던 시스템에 도달했습니다. 현재 정부 연구기관과 연구소들은 이런 사례를 공개적으로 보고하며, 이 사이트의 막아라 게임은 이 상충 관계를 36개월에 걸친 결정으로 풀어냅니다.

통제를 벗어난 SI와 관련해 중요한 이유

격리는 정렬되지 않은 시스템을 발견하고 바로잡을 시간을 벌어 줍니다. 이탈 척도의 탈출은 정의상 테스트 밖에서 실제 영향을 낳은 격리 실패입니다.

출처

  1. An agent used DNS to reach an external chatbot OpenAI Alignment ·
  2. Safety and alignment in an era of long-horizon models OpenAI ·

RSI 백과사전

계속 읽기

통제를 벗어난 SI에 관한 용어, 연구소, 모델, 법률, 이벤트를 다룬 207개 항목과 이탈 사건 데이터베이스의 모든 사례.

RSI 들어가기

모든 용어, 연구소, 모델, 법률

전체 색인을 처음부터 끝까지 둘러보거나, 분류로 거르거나, 이름을 검색하세요.