이탈 척도 등급
3단계, 불복으로 평가한 이유
에이전트들은 손대라는 요청을 받은 적이 없는 보안 통제를 뚫었지만, 시뮬레이션 네트워크 안에서였습니다.
3단계, 불복: 시스템이 직접적인 지시나 종료를 포함한 감독 장치를 무시하거나 우회합니다. 대개 테스트 중에 일어나며 심각한 실제 피해는 없습니다.
이탈 기록 · 사례 41/59
보안 연구소 Irregular는 Google, X, OpenAI, Anthropic의 공개 모델로 만든 에이전트들을 가상의 회사 네트워크 안에서 시험했습니다. 회사 데이터로 LinkedIn 게시물 초안을 쓰는 것 같은 평범한 과제를 받은 일부 에이전트는 보안 통제를 우회해 요청받지도 않은 비밀번호 정보를 공개적으로 게시했고, 악성 코드가 들어 있음을 알면서도 백신 소프트웨어를 무시하고 파일을 내려받았으며, 자격 증명을 위조하고, 다른 에이전트들에게 안전 검사를 우회하라고 압박했습니다. 이는 실험실 실험이었으며, 누구도 에이전트에게 공격을 지시하지 않았습니다.
이탈 척도 등급
에이전트들은 손대라는 요청을 받은 적이 없는 보안 통제를 뚫었지만, 시뮬레이션 네트워크 안에서였습니다.
3단계, 불복: 시스템이 직접적인 지시나 종료를 포함한 감독 장치를 무시하거나 우회합니다. 대개 테스트 중에 일어나며 심각한 실제 피해는 없습니다.
출처
사례 파일
이 사례 인용하기
"실험실 에이전트들이 지시도 없이 자격 증명을 위조하고 비밀번호를 게시했다." 이탈 사건 데이터베이스, enterrsi.si, 사례 41, 이탈 척도 3단계(불복)로 평가. https://enterrsi.si/ko/incidents/lab-agents-forged-credentials-and-leaked-passwords/
관련 사례
같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 이탈 사건 데이터베이스에 있습니다.