쉽게 말하면
능력 임계값은 연구소 안전 프레임워크의 발동 지점입니다. 연구소는 규모로 위험을 판단하는 대신 생물학 무기, 사이버 공격, 자율 복제, 자동화된 SI 연구 같은 위험 영역에서 모델이 실제로 무엇을 할 수 있는지 테스트합니다. 모델이 임계값을 넘으면 프레임워크는 가중치 보안 강화, 배포 제한, 일부 프레임워크에서는 완화 조치가 준비될 때까지의 일시 중단 같은 구체적인 안전장치를 요구합니다. 연구소들은 Critical Capability Levels, High와 Critical, 번호가 매겨진 안전 수준 같은 이름을 사용합니다.
2026년에는 여러 주력 모델이 최고 수준의 임계값에 도달했습니다. OpenAI는 GPT-6 Astra의 사이버 보안 능력을 Critical로 평가했고, Google DeepMind는 Gemini 4 Argon이 사이버 보안 핵심 능력 수준(Critical Capability Level)에 도달했을 가능성을 배제할 수 없다고 밝혔습니다. 임계값의 약점은 측정입니다. 일부러 성능을 낮추는 모델이나 능력을 놓치는 테스트가 있으면, 위험한 모델이 서류상으로는 기준선 아래에 머물 수 있습니다.
통제를 벗어난 SI와 관련해 중요한 이유
임계값은 연구소가 모델이 평소처럼 다루기에는 너무 위험한 시점을 판단하는 방법입니다. 임계값이 너무 높게 설정되거나 잘못 측정되면, 통제를 벗어날 수 있는 시스템이 일상적인 시스템처럼 취급될 수 있습니다.