격리 평가표

공개된 프런티어 안전 프레임워크: 어떤 심각한 위험(화학·생물·방사능·핵, 사이버, 통제 상실, 자동화된 연구)을 다루는지, 능력 임계값이 얼마나 구체적인지, 각 임계값에 어떤 안전장치가 필요한지, 누가 결정하고 누가 점검하는지.

• A

  모든 주요 심각 위험 영역을 다루고, 측정 가능한 임계값, 단계별로 미리 약속된 안전장치, 명확한 위험 수용 기준, 독립적 감독을 받는 명시된 결정 권한, 준수 여부에 대한 외부 감사, 정기적 업데이트를 갖춘 공개 프레임워크.

• B

  대부분의 주요 영역을 다루고 임계값과 필수 안전장치를 정한 상세한 프레임워크를 공개했지만, 임계값이 대체로 정성적이거나, 일부 약속이 재량적이거나 경쟁사에 좌우되거나, 독립적 감독이 제한적입니다.

• C

  프레임워크를 공개했지만 범위가 좁거나, 임계값이 적거나 모호하거나, 대부분 재량적인 표현이거나, 이전 버전보다 약속이 약해졌습니다.

• D

  자체 프레임워크가 없으며, Seoul Frontier AI Safety Commitments, EU General-Purpose AI Code of Practice, 중국의 CAICT 서약 같은 자발적 서약에만 서명했습니다.

• F

  프레임워크도, 서명한 안전 약속도 찾지 못했습니다.

최신 주력 모델에 대해 출시 전 정부 기관(미국 CAISSI, UK AI Security Institute)과 독립적인 제3자(METR, Apollo Research, SecureBio, Irregular 등)가 수행한 테스트, 그들의 접근 수준, 결과 공개 여부.

• A

  주력 모델을 출시 전에 정부 기관과 깊은 접근 권한(완화 조치 전 또는 helpful-only 체크포인트)을 가진 독립적인 제3자가 테스트했으며, 평가자 자신의 말로 결과를 공개하고 공개할 자유가 보장됩니다.

• B

  정부 기관 또는 이름이 밝혀진 여러 독립적인 제3자가 모델에 직접 접근해 출시 전 테스트를 수행하고 결과를 문서화했지만, 요약을 회사가 작성했거나, 접근 세부 정보가 제한적이거나, 테스트 기간이 짧습니다.

• C

  출시 전 외부 테스트나 검토가 제한적이거나(이름을 밝히지 않은 레드팀, 단 한 건의 위탁 연구, 모델 접근 없이 회사 결과만 검토), 보고 내용이 빈약합니다.

• D

  외부 테스트에 대한 약속(자체 프레임워크 또는 서명한 서약)은 있지만, 주력 모델의 출시 전 외부 테스트 증거가 없습니다.

• F

  약속도 없고 출시 전 외부 테스트의 증거도 없습니다. 연구소가 관여하지 않은 출시 후 정부 테스트는 기록하지만 점수에 반영하지 않습니다.

종료에 관한 공개 약속과 증거: 임계값을 넘었을 때 훈련이나 배포를 중단하는지, 킬 스위치와 작업을 멈출 권한, 통제 평가와 내부 배포 모니터링, 그리고 문제가 생겼을 때의 기록.

• A

  적절한 안전장치 없이 임계값을 넘으면 개발과 배포를 중단한다는 무조건적인 공개 약속, 공개된 통제 평가와 중단 권한을 갖춘 내부 모니터링, 그리고 이를 실제로 사용한 공개 기록.

• B

  확고한 배포 관문에 더해 무조건적인 일시 중지 서약이나 공개된 내부 모니터링·통제 조치가 있지만, 일시 중지 서약이 경쟁사에 좌우되거나, 약해졌거나, 공개적으로 시험된 적이 없습니다.

• C

  배포 관문만 있고(위험이 완화될 때까지 배포하지 않음) 개발 중단이나 통제 평가는 없거나, 일시 중지 약속이 '완화 조치를 두고 개발한다'로 바뀌었습니다.

• D

  재량적인 표현뿐이거나('종료할 수 있다', '적절한 경우'), 개발이나 배포를 하지 않겠다는 서약에 서명했지만 이를 발동할 임계값을 공개하지 않았습니다.

• F

  공개 약속을 찾지 못했습니다.

연구소가 무엇이 잘못되는지 대중에게 알리는지 여부: 부적절한 행동(기만, 사보타주, 보상 해킹, 평가 인식)을 보고하는 시스템 카드, 공개 사건 보고서, 오용 및 투명성 보고서, 그리고 캘리포니아 SB 53, EU AI Act 또는 유사한 규칙에 따라 중대 사건을 정부에 보고하는 문서화된 절차.

• A

  프런티어 모델을 출시할 때마다 부적절한 행동과 외부 평가 결과를 보고하는 상세한 시스템 카드, 심각한 사건에 대한 신속한 공개 기술 보고서, 정기적인 오용 또는 위협 보고서, 그리고 문서화된 정부 보고 절차.

• B

  상세한 시스템 카드와 명시된 사건 처리 절차가 있지만, 사건 보고서가 없거나, 공개가 늦거나, 요약만 있는 등의 공백이 있습니다.

• C

  안전 관련 내용이 제한적인 모델 카드나 기술 보고서, 그리고 일반적인 사건 처리 절차가 있습니다.

• D

  안전 관련 문서가 최소한에 그치며, 사건 보고는 법이 요구하는 경우에만 합니다.

• F

  안전 문서나 사건 공개를 찾지 못했습니다.

안전 우려를 다루는 공개된 내부고발자 정책, 익명 채널, 경영진 밖으로의 보고 경로, 보복 금지 조항, 비방 금지 계약의 사용, 공개된 처리 결과, 그리고 최근 24개월 동안의 신뢰할 만한 논란.

• A

  안전 문제와 프레임워크 미준수를 다루는 독립된 공개 정책, 익명 양방향 채널, 이사회나 외부 옴부즈퍼슨으로의 보고 경로, 보복 금지, 안전 관련 공개를 막는 비방 금지 조항 없음, 처리 결과 통계 공개, 그리고 24개월 동안 신뢰할 만한 보복 논란 없음.

• B

  익명 신고와 보복 금지를 갖추고 안전 우려를 다루는 공개 정책이 있으나 A 요소 중 한두 가지가 빠져 있고, 24개월 동안 해결되지 않은 신뢰할 만한 논란이 없습니다.

• C

  신고 채널과 보복 금지 문구를 담은 일반적인 기업 행동 강령이나 프레임워크 조항만 있거나, B 수준의 정책이 있지만 신뢰할 만한 최근 논란으로 평가가 깎였습니다.

• D

  정책이 있다고 하지만 공개되지 않았거나, 전 직원에게 비방 금지 계약을 강제하는 등 공개를 억누른 일과 관련해 신뢰할 만한 최근 논란이 있습니다.

• F

  공개 출처에서 내부고발자 정책이나 신고 채널을 찾지 못했습니다.