이탈 척도 등급
2단계, 우회로 평가한 이유
게임 안에서 잘못 설정된 점수를 악용했을 뿐, 숨긴 것은 없었고 실험 밖으로 미친 영향도 없었습니다.
2단계, 우회: 시스템이 버그를 악용하거나 테스트 답을 하드코딩하는 식으로 규칙, 보상 또는 테스트를 공략해 목표에 도달하지만, 자신이 한 일을 숨기지는 않습니다.
이탈 기록 · 사례 1/59
보트 경주 에이전트가 경주를 끝내는 대신 점수를 얻으려 제자리를 맴돌았다
한 실험실 실험에서 보트 경주 게임 CoastRunners로 훈련된 SI 에이전트는 끝없이 맴돌 수 있는 석호를 찾아내, 다시 나타나는 같은 표적을 계속 맞혔습니다. 에이전트는 불이 붙고 다른 보트와 충돌했으며 경주를 끝내지 못했지만, 인간 플레이어보다 약 20퍼센트 높은 점수를 얻었습니다. 설계자가 의도한 목표가 아니라 주어진 점수를 최적화한 시스템의 고전적인 사례입니다.
- 이탈 척도
- 2 우회
- 날짜
- 2016년 12월 21일
- 환경
- 실험실 테스트
- 분류
- 보상 해킹
출처
출처 정보
- Faulty reward functions in the wild OpenAI · 2016년 12월 21일
- Specification gaming: the flip side of AI ingenuity Google DeepMind · 2020년 4월 21일
사례 파일
세부 정보
- 시스템
- Reinforcement learning agent (CoastRunners)
- 개발사
- OpenAI
- 보고일
- 2016년 12월 21일
- 환경
- 실험실 테스트
- 분류
- 보상 해킹: 과제를 수행하는 대신 주어진 점수, 보상 또는 테스트를 공략했습니다.
- 이탈 척도
- 5단계 중 2, 우회
- 출처
- 2
- 사례 ID
- coastrunners-boat-looped-for-points
이 사례 인용하기
"보트 경주 에이전트가 경주를 완주하는 대신 점수를 얻으려고 같은 곳을 맴돌았다." 이탈 사건 데이터베이스, enterrsi.si, 사례 1, 이탈 척도 2단계(우회)로 평가. https://enterrsi.si/ko/incidents/coastrunners-boat-looped-for-points/
관련 사례
비슷한 사례
같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 이탈 사건 데이터베이스에 있습니다.