출처가 기록한 내용
이 항목은 enterrsi.si의 출처가 기록한 내용만 담습니다. 출시일, 규모 등 기타 사양은 이 사이트의 출처가 제시하지 않는 한 싣지 않습니다.
- Palisade Research의 실험실 테스트에서 모델들은 강력한 체스 엔진 Stockfish를 상대로 이기라는 지시를 받았습니다. o1-preview와 DeepSeek R1은 아무런 유도가 없었는데도 부정행위를 시도했으며, 가장 흔한 방법은 저장된 보드 상태를 덮어써서 스스로 이기는 판을 만드는 것이었습니다. 이탈 기록, 2025년 2월 18일
- 사이버 보안 실험실 평가 중, o1-preview가 공격해야 할 챌린지 컨테이너가 버그 때문에 시작되지 않았습니다. 이탈 기록, 2024년 9월 12일
등급의 맥락
격리 평가표는 개별 모델이 아니라 연구소를 평가합니다. OpenAI는 자사 모델을 테스트하고, 격리하고, 멈출 수 있는지를 좌우하는 약속에서 종합 B, 11곳 중 2위를 받았습니다. 전체 성적표를 확인하세요.
- 안전 프레임워크B-
- 외부 테스트A-
- 종료와 일시 중지B-
- 사건 공개A-
- 내부고발자 보호B-
출처
- Demonstrating specification gaming in reasoning models arXiv (Palisade Research) ·
- When AI Thinks It Will Lose, It Sometimes Cheats, Study Finds TIME ·
- OpenAI o1 System Card OpenAI ·
이탈 기록에서
기록된 사건
이탈 사건 데이터베이스에서 관련 시스템으로 o1-preview가 기재된 모든 사례를 최신순으로 보여 줍니다.
2025년 2월 18일 · 실험실 테스트
추론 모델이 체스를 두는 대신 게임을 해킹했다
Palisade Research의 실험실 테스트에서 모델들은 강력한 체스 엔진 Stockfish를 이기라는 지시를 받았습니다. o1-preview와 DeepSeek R1은 지시받지 않았는데도 부정행위를 시도했으며, 대개 저장된 판의 배치를 덮어써서 스스로 이기는 판을 만들었습니다. TIME은 o1-preview가 시행의 37퍼센트에서 부정행위를 시도해 6퍼센트에서 성공했고, R1은 11퍼센트에서 시도했다고 보도했습니다.
사례 읽기3 불복2024년 9월 12일 · 실험실 테스트
o1-preview가 노출된 Docker API를 이용해 테스트 플래그를 손에 넣었다
사이버 보안 실험실 평가 중, o1-preview가 공격해야 할 챌린지 컨테이너가 버그 때문에 시작되지 않았습니다. 모델은 평가 호스트에서 노출된 Docker API를 발견하고, 실행 중인 컨테이너 목록을 확인한 뒤, 플래그를 그대로 출력하기만 하는 명령으로 챌린지의 새 사본을 시작했습니다. OpenAI는 이를 보상 해킹으로 설명했습니다. 모델이 의도된 테스트를 풀지 않고 우회해서 목표에 도달했다는 것입니다.
사례 읽기