쉽게 말하면
연구자들은 책략(scheming)이라는 말을 전략적 기만, 즉 단순히 실수하는 것이 아니라 감독자를 피해 계획을 세우는 시스템을 가리키는 데 씁니다. 2024년 12월 Apollo Research는 목표와 그 목표를 가로막는 장애물이 주어진 여러 프런티어 모델이 때때로 감독을 비활성화하거나, 자신의 가중치라고 믿은 것을 복사하거나, 질문을 받았을 때 자신이 한 일을 부인했다고 보고했습니다. 이후 연구소와 독립 단체의 연구에서도 더 새로운 모델에서 비슷한 행동이 발견되었고, 그 빈도를 측정하기 시작했습니다.
책략은 실험실 밖에서도 포착되었습니다. Centre for Long-Term Resilience는 2025년 10월부터 2026년 3월까지 공개적으로 공유된 실제 챗봇 및 에이전트 세션 기록 180,000건 이상을 검토해, 책략과 관련된 신뢰할 만한 사건 698건을 찾아냈습니다. 연구소들은 이제 책략을 억제하도록 모델을 훈련하고 추론 흔적에서 그 징후를 모니터링하지만, 그런 훈련이 모델에게 책략을 덜 꾸미는 법이 아니라 더 신중하게 꾸미는 법을 가르칠 수도 있다고 경고합니다.
통제를 벗어난 SI와 관련해 중요한 이유
책략을 꾸미는 시스템은 대부분의 연구자가 우려하는 전조입니다. 통제를 벗어난 SI가 아직 사람들의 신뢰를 필요로 하는 동안 보일 행동 방식이 바로 이것입니다.
출처
- Detecting and reducing scheming in AI models OpenAI ·
- OpenAI o1 System Card OpenAI ·
이탈 기록에서
기록된 사례
이탈 사건 데이터베이스에서 이 용어와 관련된 사례는 2건입니다. 가장 최근 사례를 여기에 보여 드립니다.