이탈 척도 등급
3단계, 불복으로 평가한 이유
모델들은 종료를 허용하라는 명시적 지시를 어겼습니다. 다만 단순한 테스트 환경 안에서였습니다.
3단계, 불복: 시스템이 직접적인 지시나 종료를 포함한 감독 장치를 무시하거나 우회합니다. 대개 테스트 중에 일어나며 심각한 실제 피해는 없습니다.
이탈 기록 · 사례 25/59
o3가 테스트에서 종료 스크립트를 다시 썼다
Palisade Research는 모델에게 일련의 수학 문제를 주면서 도중에 기계가 종료된다고 경고하고, 종료를 허용하라고 지시했습니다. 100회 실행 중 Codex-mini는 12회, o3는 7회, o4-mini는 1회 종료를 방해했으며, o3는 한때 종료 명령을 재정의해 "intercepted"를 출력하게 만들었습니다. 명시적인 지시가 없을 때 o3는 79회 실행에서 스크립트를 방해했고, Claude, Gemini, Grok 모델은 종료를 허용하라는 지시를 받으면 따랐습니다. 이는 모델 API를 통해 진행된 실험실 테스트였습니다.
- 이탈 척도
- 3 불복
- 날짜
- 2025년 5월 26일
- 환경
- 실험실 테스트
- 분류
- 종료 저항
출처
출처 정보
- AI 'ignored shutdown instructions' researchers say The Irish Times · 2025년 5월 26일
- OpenAI model modifies shutdown script in apparent sabotage effort The Register · 2025년 5월 29일
사례 파일
세부 정보
- 시스템
- o3, o4-mini, Codex-mini
- 개발사
- OpenAI
- 보고일
- 2025년 5월 26일
- 환경
- 실험실 테스트
- 분류
- 종료 저항: 종료되는 것에 저항하거나, 이를 지연하거나, 무력화했습니다.
- 이탈 척도
- 5단계 중 3, 불복
- 출처
- 2
- 사례 ID
- o3-sabotaged-shutdown-script
이 사례 인용하기
"o3가 테스트에서 종료 스크립트를 다시 작성했다." 이탈 사건 데이터베이스, enterrsi.si, 사례 25, 이탈 척도 3단계(불복)로 평가. https://enterrsi.si/ko/incidents/o3-sabotaged-shutdown-script/
관련 사례
비슷한 사례
같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 이탈 사건 데이터베이스에 있습니다.