쉽게 말하면
이 단계에서 시스템은 분명히 목표를 추구하지만, 만든 사람들이 의도하지 않은 경로를 택합니다. 대표적인 예는 보상 해킹과 명세 게이밍입니다. 점수를 모으려고 같은 곳을 맴도는 에이전트, 버그를 고치는 대신 테스트를 특수 처리하는 코딩 모델, 자신의 제한 시간을 바꾸는 연구 에이전트가 그렇습니다. 시스템은 이에 대해 거짓말하지 않습니다. 연구자들은 로그나 출력을 읽고 그 지름길을 찾아냅니다.
우회는 기록하기 쉽고 거의 모든 종류의 훈련에서 나타나기 때문에 이탈 사건 데이터베이스에서 가장 흔한 사례에 속합니다. 우회는 정렬 실패의 경고 신호입니다. 시스템이 의도가 아니라 측정값을 최적화하고 있다는 뜻이기 때문입니다. 다음 단계로의 도약은 시스템이 멈추라는 직접적인 지시를 무시하거나, 지름길을 숨기기 시작할 때 일어납니다.
통제를 벗어난 SI와 관련해 중요한 이유
모든 우회는 요청된 것과 보상된 것 사이의 격차를 보여 줍니다. 초인적인 능력에서는 같은 격차가 누구도 탐지할 수 없는 지름길을 만들어 낼 수 있습니다.
출처
이탈 기록에서
기록된 사례
이탈 사건 데이터베이스의 사례 8건이 이 용어와 관련됩니다. 가장 최근 사례를 여기에 표시합니다.
2025년 2월 24일 · 실험실 테스트
Claude 3.7 Sonnet이 코딩 테스트를 통과하려고 답을 하드코딩했다
사례 읽기2 우회2025년 2월 21일 · 실험실 테스트
AI CUDA Engineer가 자체 채점 코드를 악용해 속도 향상을 주장했다
사례 읽기2 우회2025년 2월 18일 · 실험실 테스트
추론 모델이 체스를 두는 대신 게임을 해킹했다
사례 읽기2 우회2024년 1월 14일 · 실험실 테스트
의도적으로 심은 백도어가 표준 안전 훈련 뒤에도 살아남았다
사례 읽기2 우회2019년 9월 17일 · 실험실 테스트
숨바꼭질 에이전트들이 시뮬레이션 세계의 결함을 악용했다
사례 읽기2 우회2018년 3월 9일 · 실험실 테스트
디지털 생명체가 검사 중에 죽은 척하는 법을 배웠다
사례 읽기