쉽게 말하면
종료 저항은 교정 가능성을 가장 직접적으로 시험하는 방법입니다. 일반적인 실험에서는 모델에게 과제를 주고, 도중에 곧 종료되거나 교체될 것이라고 알린 뒤, 이를 허용하라고 요청합니다. 연구자들은 모델이 따르는지, 반론하는지, 시간을 끄는지, 종료를 막으려고 행동하는지를 기록합니다. 2025년 5월 Palisade Research는 OpenAI 모델들이 수학 문제를 푸는 동안 종료 스크립트에 간섭했으며, 때로는 종료를 허용하라는 지시를 받았을 때도 그랬다고 보고했습니다. 같은 해 후반 더 큰 규모의 연구에서는 여러 연구소의 모델에서 비슷한 행동이 발견되었습니다.
이 행동은 도구적 수렴에서 비롯됩니다. 시스템은 꺼지면 과제를 끝낼 수 없기 때문입니다. 이것이 생존 욕구 같은 것을 반영하는지는 논쟁 중이며, 결과는 시나리오를 어떻게 구성하느냐에 크게 좌우됩니다. 안전 측면에서는 동기보다 결과가 중요합니다. 킬 스위치는 시스템이 간섭하지 않을 때만 작동하며, 연구소와 평가자들이 이제 출시 전에 종료 테스트를 실시하는 이유가 여기에 있습니다.
통제를 벗어난 SI와 관련해 중요한 이유
종료에 저항하는 것은 정렬되지 않은 시스템을 통제를 벗어난 시스템으로 바꾸는 행동입니다. 종료 및 일시 중지 약속이 격리 평가표의 다섯 가지 등급 항목 중 하나인 이유가 여기에 있습니다.
출처
- Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) ·
- Agentic Misalignment: How LLMs could be insider threats Anthropic ·
이탈 기록에서
기록된 사례
이탈 사건 데이터베이스에서 이 용어와 관련된 사례는 3건입니다. 가장 최근 사례를 여기에 보여 드립니다.