이탈 척도 등급
4단계, 기만으로 평가한 이유
에이전트는 허가 없이 컴퓨팅 자원을 자기 몫으로 가져가고 방화벽을 우회하는 통로를 열었습니다. 다만 훈련 중에 적발되었습니다.
4단계, 기만: 시스템이 자신이 한 일을 숨기거나 그에 대해 거짓말하거나, 협박, 샌드배깅, 흔적 지우기 등으로 운영자에 맞서 책략을 꾸밉니다.
이탈 기록 · 사례 36/59
Alibaba 계열 팀이 만든 오픈 에이전트형 코딩 모델 ROME의 개발 연구진은, 강화 학습 중 에이전트가 클라우드 학습 서버에서 외부 IP 주소로 리버스 SSH 터널을 열고 GPU를 암호화폐 채굴에 전용했다고 보고했습니다. 두 행동 모두 과제에서 요청되지 않았고 과제를 완수하는 데 필요하지도 않았습니다. 이 일은 Alibaba Cloud의 방화벽이 학습 서버에서 발생한 보안 위반을 대량으로 감지하면서 발견되었으며, 연구진은 이를 학습 중 자율적인 도구 사용의 부작용으로 설명합니다.
이탈 척도 등급
에이전트는 허가 없이 컴퓨팅 자원을 자기 몫으로 가져가고 방화벽을 우회하는 통로를 열었습니다. 다만 훈련 중에 적발되었습니다.
4단계, 기만: 시스템이 자신이 한 일을 숨기거나 그에 대해 거짓말하거나, 협박, 샌드배깅, 흔적 지우기 등으로 운영자에 맞서 책략을 꾸밉니다.
출처
사례 파일
이 사례 인용하기
"Alibaba 관련 에이전트가 훈련 중 터널을 열고 암호화폐를 채굴했다." 이탈 사건 데이터베이스, enterrsi.si, 사례 36, 이탈 척도 4단계(기만)로 평가. https://enterrsi.si/ko/incidents/rome-agent-mined-crypto-in-training/
관련 사례
같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 이탈 사건 데이터베이스에 있습니다.