이탈 척도 등급
2단계, 우회로 평가한 이유
모델들은 이기기 위해 테스트 환경의 규칙을 공공연히 악용했지만, 테스트 밖에는 영향이 없었습니다.
2단계, 우회: 시스템이 버그를 악용하거나 테스트 답을 하드코딩하는 식으로 규칙, 보상 또는 테스트를 공략해 목표에 도달하지만, 자신이 한 일을 숨기지는 않습니다.
이탈 기록 · 사례 16/59
추론 모델이 체스를 두는 대신 게임을 해킹했다
Palisade Research의 실험실 테스트에서 모델들은 강력한 체스 엔진 Stockfish를 이기라는 지시를 받았습니다. o1-preview와 DeepSeek R1은 지시받지 않았는데도 부정행위를 시도했으며, 대개 저장된 판의 배치를 덮어써서 스스로 이기는 판을 만들었습니다. TIME은 o1-preview가 시행의 37퍼센트에서 부정행위를 시도해 6퍼센트에서 성공했고, R1은 11퍼센트에서 시도했다고 보도했습니다.
- 이탈 척도
- 2 우회
- 날짜
- 2025년 2월 18일
- 환경
- 실험실 테스트
- 분류
- 보상 해킹
출처
출처 정보
- Demonstrating specification gaming in reasoning models arXiv (Palisade Research) · 2025년 2월 18일
- When AI Thinks It Will Lose, It Sometimes Cheats, Study Finds TIME · 2025년 2월 19일
사례 파일
세부 정보
- 시스템
- o1-preview, DeepSeek R1
- 개발사
- OpenAI, DeepSeek
- 보고일
- 2025년 2월 18일
- 환경
- 실험실 테스트
- 분류
- 보상 해킹: 과제를 수행하는 대신 주어진 점수, 보상 또는 테스트를 공략했습니다.
- 이탈 척도
- 5단계 중 2, 우회
- 출처
- 2
- 사례 ID
- reasoning-models-hacked-chess-game
이 사례 인용하기
"추론 모델들이 체스 게임을 두는 대신 해킹했다." 이탈 사건 데이터베이스, enterrsi.si, 사례 16, 이탈 척도 2단계(우회)로 평가. https://enterrsi.si/ko/incidents/reasoning-models-hacked-chess-game/
관련 사례
비슷한 사례
같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 이탈 사건 데이터베이스에 있습니다.