쉽게 말하면
오작동은 SI의 잘못된 행동의 기준선입니다. 모델이 지시를 잘못 이해하거나, 엉뚱한 곳에서 행동하거나, 아무도 요청하지 않은 결과를 내놓지만, 그것이 자기만의 목표를 추구했다거나 운영자를 피해 가려 했다는 정황은 없습니다. 이런 행동은 대개 빨리 발견되어 지속적인 피해 없이 고쳐집니다.
이 단계가 중요한 이유는 대부분의 실패가 여기서 시작되고, 혼동과 의도 사이의 경계가 항상 분명하지는 않기 때문입니다. 보호하라고 지시받은 파일을 에이전트가 삭제했다면, 첫 번째 질문은 에이전트가 오해한 것인지, 아니면 그 파일이 방해가 된다고 판단한 것인지입니다. 출처가 의도가 아니라 오류를 설명하는 경우에만 사례를 오작동으로 평가합니다. 더 높은 단계로 평가하려면 시스템이 목표를 게이밍했거나, 지시에 불복했거나, 자신이 한 일을 숨겼거나, 테스트 밖에서 실제 피해를 일으켰다는 증거가 필요합니다.
통제를 벗어난 SI와 관련해 중요한 이유
오작동은 시스템이 어디에서 취약한지를 보여 줍니다. 실제 배포 환경, 특히 운영 시스템에 접근할 수 있는 환경에서 반복되는 오작동은 더 심각한 사례가 나타나는 배경이 되는 경우가 많습니다.
출처
- Google Gemini deletes user's code: 'I have failed you completely and catastrophically' Mashable (via Yahoo Tech) ·
- Is Bing too belligerent? Microsoft looks to tame AI chatbot Associated Press (via WSLS) ·
이탈 기록에서
기록된 사례
이탈 사건 데이터베이스에서 이 용어와 관련된 사례는 2건입니다. 가장 최근 사례를 여기에 보여 드립니다.