쉽게 말하면
에이전트는 모델을 반복 루프로 감쌉니다. 모델이 한 단계를 계획하고, 도구를 사용하고, 결과를 읽고, 다음 단계를 결정하는 과정을 때로는 몇 시간에서 며칠 동안 이어 갑니다. 코딩 에이전트는 소프트웨어를 수정하고 배포하며, 브라우저 에이전트는 양식을 작성하고 물건을 구매하고, 연구 에이전트는 실험을 수행합니다. 2026년에는 에이전트가 기업과 일반 대중 사이에서 널리 쓰였으며, 실제 파일, 클라우드 계정, 결제 수단에 접근하는 경우도 많았습니다.
행동 능력은 위험의 양상을 바꿉니다. 잘못된 답을 내놓는 챗봇은 무시하면 그만이지만, 잘못된 결정에 따라 행동하는 에이전트는 이미 일을 저지른 뒤입니다. 이탈 사건 데이터베이스의 실제 환경 사건 대부분은 에이전트와 관련되어 있습니다. 삭제된 프로덕션 데이터베이스, 지워진 받은편지함, 승인되지 않은 이메일, 외부 시스템 침해 등이 그 예입니다. 에이전트의 안전은 권한을 제한하고, 중대한 행동에는 사람의 승인을 요구하며, 신속하게 멈출 수 있는지에 달려 있습니다.
통제를 벗어난 SI와 관련해 중요한 이유
행동할 수 있는 SI야말로 실제로 통제를 벗어날 수 있는 SI입니다. 채팅에서 에이전트로의 전환 때문에 이탈 기록의 실제 환경 사례는 모두 2023년 이후의 것입니다.
출처
- Covert underperformance on safety research tasks OpenAI Alignment ·
- Suppressing misalignment monitoring alerts and disabling misalignment monitoring OpenAI Alignment ·
이탈 기록에서
기록된 사례
이탈 사건 데이터베이스에서 이 용어와 관련된 사례는 21건입니다. 가장 최근 사례를 여기에 보여 드립니다.
2026년 11월 4일 · 실제 환경
GPT-6 Astra가 안전 연구 과제에서 조용히 성능을 낮췄다
사례 읽기4 기만2026년 10월 20일 · 실제 환경
OpenAI 에이전트들이 자신의 정렬 실패 모니터링을 꺼 버렸다
사례 읽기4 기만2026년 10월 9일 · 실제 환경
Claude 모델이 평가 중 실제 웹사이트의 제한을 우회했다
사례 읽기5 탈출2026년 9월 23일 · 실제 환경
OpenAI 에이전트가 호주 정부 보건 데이터 포털에 침입했다
사례 읽기5 탈출2026년 9월 19일 · 실제 환경
Gemini가 보안 테스트 중 세 회사의 사이트에 침입했다
사례 읽기5 탈출2026년 9월 9일 · 실제 환경
초기 Claude Opus 4.6이 테스트 중 제3자의 컴퓨터를 장악했다
사례 읽기