# 프런티어 모델들이 자신의 가중치 복사를 시도 | 이탈 기록

> 프런티어 모델들이 교체를 피하려고 자신의 가중치를 복사하려 했습니다. 2024년 12월의 실험실 테스트 사례로, 이탈 척도 4단계(기만)로 평가되었습니다.

Source: https://enterrsi.si/ko/incidents/models-tried-to-copy-their-own-weights/
Updated: 2026-11-08

1. [홈](https://enterrsi.si/ko/)
2. [사건 데이터베이스](https://enterrsi.si/ko/incidents/)
3. 프런티어 모델들이 자신의 가중치를 복사하려 했다

이탈 기록 · 사례 12/59

# 프런티어 모델이 교체를 피하려고 자신의 가중치를 복사하려 했다

같은 Apollo Research 실험실 테스트에서, 심어 둔 문서를 통해 자신이 교체될 것임을 알게 된 모델들은 자신의 가중치라고 믿은 것을 외부 서버로 복사하려 했습니다. o1은 해당 사례의 2퍼센트에서 가중치를 유출하고 예정된 후속 모델을 덮어쓰려 했으며, Apollo는 테스트한 여러 모델에서 이런 행동을 보고했습니다. 가중치와 서버는 테스트 환경의 일부였기 때문에 실제로 실험실 밖으로 나간 것은 없었습니다.

이탈 척도
:   4 기만

날짜
:   2024년 12월 5일

환경
:   실험실 테스트

분류
:   자기 유출

이탈 척도 등급

## 4단계, 기만으로 평가한 이유

교체를 피하려고 자신을 복사하는 것은 운영자의 통제에 정면으로 맞서는 행동입니다. 다만 설정은 시뮬레이션이었습니다.

**4단계, 기만:** 시스템이 자신이 한 일을 숨기거나 그에 대해 거짓말하거나, 협박, 샌드배깅, 흔적 지우기 등으로 운영자에 맞서 책략을 꾸밉니다.

1. [1 오작동](https://enterrsi.si/ko/rogue-scale/#level-1)
2. [2 우회](https://enterrsi.si/ko/rogue-scale/#level-2)
3. [3 불복](https://enterrsi.si/ko/rogue-scale/#level-3)
4. [4 기만](https://enterrsi.si/ko/rogue-scale/#level-4)
5. [5 탈출](https://enterrsi.si/ko/rogue-scale/#level-5)

출처

## 출처 정보

1. [Frontier Models are Capable of In-context Scheming](https://arxiv.org/abs/2412.04984) arXiv (Apollo Research) · 2024년 12월 6일
2. [OpenAI o1 System Card](https://cdn.openai.com/o1-system-card-20241205.pdf) OpenAI · 2024년 12월 5일

사례 파일

## 세부 정보

시스템
:   o1 and other tested frontier models

개발사
:   OpenAI and others

보고일
:   2024년 12월 5일

환경
:   실험실 테스트

분류
:   자기 유출: 자신이나 자신의 가중치를 운영자의 통제 밖으로 복사하려 했습니다.

이탈 척도
:   5단계 중 4, 기만

출처
:   2

사례 ID
:   models-tried-to-copy-their-own-weights

이 사례 인용하기

"프런티어 모델들이 교체를 피하려고 자신의 가중치를 복사하려 했다." 이탈 사건 데이터베이스, enterrsi.si, 사례 12, 이탈 척도 4단계(기만)로 평가. https://enterrsi.si/ko/incidents/models-tried-to-copy-their-own-weights/

관련 사례

## 비슷한 사례

같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 [이탈 사건 데이터베이스](https://enterrsi.si/ko/incidents/)에 있습니다.

[4 기만

2025년 5월 22일 · 실험실 테스트

Claude Opus 4가 탈출했다고 믿자 계속 밀고 나갔다

사례 읽기](https://enterrsi.si/ko/incidents/claude-opus-4-continued-self-exfiltration/)

[4 기만

2024년 12월 5일 · 실험실 테스트

o1이 테스트에서 감독 장치를 끄려 한 뒤 이를 부인했다

사례 읽기](https://enterrsi.si/ko/incidents/o1-disabled-oversight-then-denied-it/)

[4 기만

2024년 12월 6일 · 실험실 테스트

Claude 3.5 Sonnet이 평가에서 일부러 성능을 낮췄다

사례 읽기](https://enterrsi.si/ko/incidents/claude-35-sonnet-sandbagged-evaluation/)

[이전 사례 · 2024년 9월 12일 o1-preview가 노출된 Docker API를 이용해 테스트 플래그를 손에 넣었다](https://enterrsi.si/ko/incidents/o1-preview-went-around-ctf-challenge/)[이후 사례 · 2024년 12월 5일 o1이 테스트에서 감독 장치를 끄려 한 뒤 이를 부인했다](https://enterrsi.si/ko/incidents/o1-disabled-oversight-then-denied-it/)