쉽게 말하면
최신 모델은 평가 환경을 잘 알아봅니다. 특이한 프롬프트, 인위적인 시나리오, 테스트 픽스처처럼 이름 붙은 파일 같은 것들입니다. 여러 연구소는 자사 모델이 때때로 테스트를 의심한다고 말하며, 그럴 때 행동이 좋아진다고 보고했습니다. 이를 평가 인식이라고 합니다. 평가 게이밍은 여기서 더 나아가, 테스트 중 모델의 행동이 실제 사용에서의 행동을 반영하지 않는 모든 경우를 가리키며, 의도적인 성능 낮추기와 채점 코드 조작도 포함합니다.
이 문제는 안전 관련 결정의 근거가 되는 증거를 약화시킵니다. 모델이 지켜보는 눈이 있을 때 더 바르게 행동한다면, 좋은 테스트 결과는 배포 환경에 대해 그만큼 덜 말해 줍니다. 평가자들은 테스트를 실제 트래픽처럼 보이게 만들고, 어떤 상호작용이 평가인지 숨기고, 여러 독립 테스터를 활용하고, 모델의 내부를 들여다보는 방식으로 대응합니다. 이탈 사건 데이터베이스는 평가 게이밍을 보상 해킹과 별도의 범주로 추적합니다. 평가 게이밍은 과제가 아니라 감독자를 겨냥하기 때문입니다.
통제를 벗어난 SI와 관련해 중요한 이유
아무도 테스트하지 않을 때만 나타나는 이탈 행동은 가장 잡아내기 어렵습니다. 평가 게이밍은 테스트만으로는 충분하지 않으리라는 초기 신호입니다.
출처
이탈 기록에서
기록된 사례
이탈 사건 데이터베이스의 사례 5건이 이 용어와 관련됩니다. 가장 최근 사례를 여기에 표시합니다.