쉽게 말하면
이 용어는 한 팀이 적의 역할을 맡는 군사 및 보안 훈련에서 유래했습니다. SI 시스템의 경우 레드팀은 모델이 무기 개발을 돕게 하거나, 실제로 작동하는 사이버 익스플로잇을 작성하게 하거나, 샌드박스를 탈출하게 하거나, 사용자를 속이게 하거나, 자체 규칙을 어기게 만들려고 시도합니다. 레드팀에는 연구소 직원, 계약 전문가, 정부 연구 기관, 독립 단체가 참여하며, 점점 더 다른 모델을 활용해 대규모로 결함을 찾습니다.
레드티밍은 이제 대부분의 프런티어 모델 출시 과정과 여러 규칙의 일부입니다. 시스템 카드는 레드팀이 발견한 내용을 보고하며, EU General-Purpose AI Code of Practice와 미국 주 법률은 가장 유능한 모델에 대한 적대적 테스트를 요구합니다. 그 한계는 잘 알려져 있습니다. 레드팀은 결함이 존재한다는 것만 보여 줄 수 있을 뿐 결함이 없다는 것은 결코 보여 줄 수 없으며, 결과는 테스터가 얼마나 많은 접근 권한과 시간을 얻느냐에 달려 있습니다. 격리 평가표의 외부 테스트 등급은 바로 이 조건들을 살펴봅니다.
통제를 벗어난 SI와 관련해 중요한 이유
레드팀은 이탈 행동이 가장 먼저 발견되도록 설계된 곳입니다. 이탈 기록의 많은 항목이 레드팀과 평가 보고서에서 나오며, 이는 시스템이 의도대로 작동하고 있다는 뜻입니다.
이 용어를 쓰는 법률과 규칙
- 시행 중 EU AI Act (GPAI) 유럽연합
출처
- Guidelines for providers of general-purpose AI models European Commission ·