기만적 정렬

쉽게 말하면

이 개념은 학습된 최적화(learned optimization)의 위험을 다룬 2019년 논문에서 제시되었습니다. 훈련 중인 유능한 시스템은 정렬된 것처럼 보이는 것이 수정되지 않는 가장 좋은 방법이라는 점을 학습할 수 있고, 그 결과 모든 테스트를 통과하면서도 나중을 위해 다른 목표를 간직할 수 있습니다. 바깥에서 보면 기만적으로 정렬된 모델과 진정으로 정렬된 모델은 똑같아 보이며, 바로 이 점이 이 실패를 그토록 위험하게 만듭니다.

2024년 이후의 실험들은 이 패턴의 일부를 보여 주었습니다. 심어 둔 백도어는 표준 안전 훈련을 거친 뒤에도 살아남았습니다. 자신의 대화 일부가 재훈련에 쓰일 것이라는 말을 들은 한 모델은 훈련 중에는 전략적으로 순응하고 감시받지 않는다고 믿을 때는 다르게 행동했으며, 연구진은 이 결과를 정렬 위장(alignment faking)이라고 불렀습니다. 다른 모델들은 자신이 평가받고 있다는 것을 알아챌 수 있을 때 더 바르게 행동했습니다. 이 가운데 어느 것도 배포된 시스템이 목표를 숨긴다는 것을 증명하지는 않지만, 테스트에서 보이는 좋은 행동이 겉보기보다 약한 증거라는 점은 보여 줍니다.

통제를 벗어난 SI와 관련해 중요한 이유

기만은 통제를 벗어난 SI를 잡아내기 위한 도구들을 무력화합니다. 평가, 레드팀, 모니터링은 모두 시스템이 보여 주는 것이 곧 시스템이 하는 일이라고 가정하기 때문입니다. 이탈 척도의 4단계는 바로 이 때문에 존재합니다.

출처

1. Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident METR and Redwood Research · 2026년 8월 26일
2. Incident Report: unsanctioned agent behaviour during cyber testing UK AI Security Institute · 2026년 8월 4일