쉽게 말하면
자사 모델을 직접 테스트하는 연구소에는 이해 상충이 있습니다. 출시하고 싶어 하기 때문입니다. 외부 테스트는 출시에 이해관계가 없는 평가자들을 참여시킵니다. UK AI Security Institute, 미국 CAISSI, 그리고 METR와 Apollo Research 같은 독립 기관이 대중이 접근하기 전에 위험한 능력과 정렬되지 않은 행동을 살펴봅니다.
그 가치는 세부 사항에 달려 있습니다. 테스터에게는 충분한 시간, 가장 유능한 버전의 모델에 대한 접근, 발견한 내용을 공개할 자유가 필요합니다. 실제로는 접근 기간이 며칠이나 몇 주에 불과한 경우가 많고, 연구소가 정한 계약 조건을 따르며, 결과는 회사의 검토를 거친 뒤에야 공개될 수 있습니다. 격리 평가표는 각 연구소의 최신 주력 모델이 출시 전에 외부 테스트를 받았는지, 접근 수준이 얼마나 깊었는지, 결과가 공개되었는지를 기준으로 등급을 매깁니다. EU General-Purpose AI Code of Practice는 이제 가장 유능한 모델에 대해 제한적인 예외를 제외하고 외부 평가를 요구합니다.
통제를 벗어난 SI와 관련해 중요한 이유
외부 테스터는 새로운 프런티어 모델을 처음으로 독립적으로 살펴보는 경우가 많습니다. 이탈 행동의 초기 신호 중 상당수가 이들의 보고서에서 나옵니다.
이 용어를 쓰는 법률과 규칙
- 자율 또는 지침 GPAI Code of Practice (Safety and Security) 유럽연합
- 발의 FRONTIER Act 미국
- 통과, 시행 전 SB 813 캘리포니아
- 시행 중 EO N-9-26 캘리포니아
- 통과, 시행 전 SB 315 일리노이
- 자율 또는 지침 Voluntary Code 캐나다
- 자율 또는 지침 UN Scientific Panel United Nations
출처
- The General-Purpose AI Code of Practice European Commission ·
- H.R. 9925, FRONTIER Act, 119th Congress LegiScan