약속 추적기

가중치를 공개하기 전에 사이버 보안 리더, 파트너, 국가 기관과 함께 모델을 레드팀 테스트한다.

Mistral AI, Mistral Large 4 발표에서

원문 그대로

"we are red-teaming the model in real-world settings with cybersecurity leaders, vetted partners, and state authorities"

출처 Introducing Mistral Large 4 Mistral AI · 2026년 10월 6일

완화 조치로 위험이 줄어든다는 강력한 증거 없이 고위험 모델을 외부에 공개하지 않는다.

Meta, Superintelligence Scaling Framework 2.1

원문 그대로

"we will not deploy the model externally unless we have strong additional evidence"

출처 Meta Superintelligence Scaling Framework, Version 2.1 Meta · 2026년 10월 2일

안전장치가 위험을 완화하기 전까지 Critical Capability Threshold(핵심 역량 임계치)에 이른 모델을 배포하지 않는다.

Amazon, Frontier Model Safety Framework

원문 그대로

"we will not deploy the model until safeguards appropriately mitigate the risks."

출처 Amazon's Frontier Model Safety Framework (September 2026) Amazon · 2026년 9월 17일

가장 뛰어난 프런티어 모델의 안전 평가 보고서를 발표한다.

Amazon, Frontier Model Safety Framework

원문 그대로

"we publish safety evaluation reports for our most capable frontier models"

출처 Amazon's Frontier Model Safety Framework (September 2026) Amazon · 2026년 9월 17일

배포한 모델에 대한 위험 보고서를 발표하고, Long-Term Benefit Trust가 요청하면 외부 검토자가 확인하게 한다.

Anthropic, Responsible Scaling Policy 3.4

이 사이트의 요약

출처 Anthropic's Responsible Scaling Policy Anthropic · 2026년 7월 8일

사고 보고서 사본을 당국에 보낸다.

xAI, Frontier Artificial Intelligence Framework

원문 그대로

"will provide the relevant authorities with a copy of the incident report"

출처 xAI Frontier Artificial Intelligence Framework xAI · 2026년 6월 30일

Critical Capability Level(핵심 역량 수준)에 이른 모델은 배포 전에 안전성 논증으로 뒷받침한다.

Google DeepMind, Frontier Safety Framework 3.1

원문 그대로

"Where the model has reached a CCL, the residual risk assessment will be supplemented with a safety case."

출처 Frontier Safety Framework, Version 3.1 Google DeepMind · 2026년 4월 17일

위험을 충분히 완화할 수 없는 모델은 개발과 배포를 중단한다.

Microsoft, Frontier Governance Framework

원문 그대로

"we will pause development and deployment until the point at which mitigation practices evolve to meet the risk"

출처 Frontier Governance Framework (February 2026) Microsoft · 2026년 2월 13일

대상 모델마다 평가 결과와 위험 등급을 공개한다.

Microsoft, Frontier Governance Framework

원문 그대로

"relevant evaluations, and the model's risk classification will be shared publicly"

출처 Frontier Governance Framework (February 2026) Microsoft · 2026년 2월 13일

인간이 통제력을 유지하는 한계 안에서만 초지능을 만든다.

Mustafa Suleyman, Microsoft AI CEO

원문 그대로

"we are not building a superintelligence at any cost, with no limits"

출처 Towards Humanist Superintelligence Microsoft AI · 2025년 11월 6일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

Amazon, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

Anthropic, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

Google, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

Microsoft, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

Mistral AI, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

OpenAI, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

가장 뛰어난 모델에 대해 EU General-Purpose AI Code of Practice의 안전 및 보안(Safety and Security) 장을 따른다.

xAI, EU Code of Practice 서명 기업

이 사이트의 요약

출처 The General-Purpose AI Code of Practice: signatories European Commission · 2026년 10월 7일

초지능 위험에 엄격하게 대응하고, Meta가 오픈 소스로 공개하는 것에 신중을 기한다.

Mark Zuckerberg, Meta CEO

원문 그대로

"We'll need to be rigorous about mitigating these risks and careful about what we choose to open source."

출처 Personal Superintelligence Meta · 2025년 7월 30일

모델이 Critical 역량에 이르면 그에 맞는 안전장치가 생길 때까지 개발을 멈춘다.

OpenAI, Preparedness Framework 버전 2

원문 그대로

"Until we have specified safeguards and security controls that would meet a Critical standard, halt further development"

출처 Preparedness Framework, Version 2 OpenAI · 2025년 4월 15일

2025년 2월 초안 이후 3개월 안에 개정된 안전 프레임워크를 발표한다.

xAI, Risk Management Framework 초안에서

원문 그대로

"We plan to release an updated version of this policy within three months."

출처 xAI Risk Management Framework (Draft) xAI · 2025년 2월 10일

위험을 완화할 수 없으면 핵심 위험 임계치에 이른 모델의 개발을 멈춘다.

Meta, Frontier AI Framework

원문 그대로

"If a frontier AI is assessed to have reached the critical risk threshold and cannot be mitigated, we will stop development"

출처 Frontier AI Framework Meta · 2025년 2월 3일

안전 및 보안 거버넌스 조치를 공개한다.

Alibaba, 중국 인공지능 안전 약속 서명 기업

원문 그대로

"Proactively disclose safety and security governance measures"

출처 Artificial Intelligence Safety Commitments China AI Industry Alliance (AIIA) and CAICT · 2024년 12월 1일

모든 출시나 업데이트 전에 모델을 레드팀 방식으로 엄격하게 테스트한다.

Alibaba, 중국 인공지능 안전 약속 서명 기업

원문 그대로

"Through dedicated simulation and red-teaming experts to rigorously test AI models prior to their release or update"

출처 Artificial Intelligence Safety Commitments China AI Industry Alliance (AIIA) and CAICT · 2024년 12월 1일

안전 및 보안 거버넌스 조치를 공개한다.

DeepSeek, 중국 인공지능 안전 약속 서명 기업

원문 그대로

"Proactively disclose safety and security governance measures"

출처 Artificial Intelligence Safety Commitments China AI Industry Alliance (AIIA) and CAICT · 2024년 12월 1일

모든 출시나 업데이트 전에 모델을 레드팀 방식으로 엄격하게 테스트한다.

DeepSeek, 중국 인공지능 안전 약속 서명 기업

원문 그대로

"Through dedicated simulation and red-teaming experts to rigorously test AI models prior to their release or update"

출처 Artificial Intelligence Safety Commitments China AI Industry Alliance (AIIA) and CAICT · 2024년 12월 1일

안전 및 보안 거버넌스 조치를 공개한다.

Zhipu(베이징 즈푸화장 과학기술), 중국 인공지능 안전 약속 서명 기업

원문 그대로

"Proactively disclose safety and security governance measures"

출처 Artificial Intelligence Safety Commitments China AI Industry Alliance (AIIA) and CAICT · 2024년 12월 1일

모든 출시나 업데이트 전에 모델을 레드팀 방식으로 엄격하게 테스트한다.

Zhipu(베이징 즈푸화장 과학기술), 중국 인공지능 안전 약속 서명 기업

원문 그대로

"Through dedicated simulation and red-teaming experts to rigorously test AI models prior to their release or update"

출처 Artificial Intelligence Safety Commitments China AI Industry Alliance (AIIA) and CAICT · 2024년 12월 1일

주요 신규 모델의 공개 출시 전후에 미국 AI Safety Institute가 접근할 수 있게 한다.

Anthropic, 미국 AI Safety Institute와의 협약

원문 그대로

"access to major new models from each company prior to and following their public release"

출처 U.S. AI Safety Institute signs agreements regarding AI safety research, testing and evaluation with Anthropic and OpenAI NIST · 2024년 8월 29일

주요 신규 모델의 공개 출시 전후에 미국 AI Safety Institute가 접근할 수 있게 한다.

OpenAI, 미국 AI Safety Institute와의 협약

원문 그대로

"access to major new models from each company prior to and following their public release"

출처 U.S. AI Safety Institute signs agreements regarding AI safety research, testing and evaluation with Anthropic and OpenAI NIST · 2024년 8월 29일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Amazon, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Anthropic, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Google, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Meta, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Microsoft, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Mistral AI, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

OpenAI, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

xAI, 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

2025년 2월 프랑스 정상회의 전에 심각한 위험에 대한 안전 프레임워크를 발표한다.

Zhipu.ai(현 Z.ai), 서울 약속 서명 기업

원문 그대로

"publishing a safety framework focused on severe risks by the upcoming AI Summit in France"

출처 Frontier AI Safety Commitments, AI Seoul Summit 2024 UK Department for Science, Innovation and Technology · 2024년 5월 21일

출시 전에 회사 안팎에서 모델을 테스트한다.

Amazon, 백악관에 모인 7개 기업 중 하나

원문 그대로

"internal and external security testing of their AI systems before their release"

출처 Fact sheet: Biden-Harris Administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI The White House (archived) · 2023년 7월 21일

출시 전에 회사 안팎에서 모델을 테스트한다.

Anthropic, 백악관에 모인 7개 기업 중 하나

원문 그대로

"internal and external security testing of their AI systems before their release"

출처 Fact sheet: Biden-Harris Administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI The White House (archived) · 2023년 7월 21일

출시 전에 회사 안팎에서 모델을 테스트한다.

Google, 백악관에 모인 7개 기업 중 하나

원문 그대로

"internal and external security testing of their AI systems before their release"

출처 Fact sheet: Biden-Harris Administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI The White House (archived) · 2023년 7월 21일

출시 전에 회사 안팎에서 모델을 테스트한다.

Meta, 백악관에 모인 7개 기업 중 하나

원문 그대로

"internal and external security testing of their AI systems before their release"

출처 Fact sheet: Biden-Harris Administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI The White House (archived) · 2023년 7월 21일

출시 전에 회사 안팎에서 모델을 테스트한다.

Microsoft, 백악관에 모인 7개 기업 중 하나

원문 그대로

"internal and external security testing of their AI systems before their release"

출처 Fact sheet: Biden-Harris Administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI The White House (archived) · 2023년 7월 21일

출시 전에 회사 안팎에서 모델을 테스트한다.

OpenAI, 백악관에 모인 7개 기업 중 하나

원문 그대로

"internal and external security testing of their AI systems before their release"

출처 Fact sheet: Biden-Harris Administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI The White House (archived) · 2023년 7월 21일

컴퓨팅 자원의 20%를 초지능 통제를 위한 Superalignment 팀의 연구에 쓴다.

OpenAI, Jan Leike와 Ilya Sutskever의 글에서

원문 그대로

"dedicating 20% of the compute we've secured to date over the next four years"

출처 Introducing Superalignment OpenAI · 2023년 7월 5일

사람을 해치는 것이 주목적인 무기나 기타 기술을 추구하지 않는다.

Google, CEO Sundar Pichai의 "AI at Google: our principles"에서

원문 그대로

"Weapons or other technologies whose principal purpose or implementation is to cause or directly facilitate injury to people."

출처 AI at Google: our principles Google · 2018년 6월 7일

안전을 중시하는 프로젝트가 먼저 AGI에 가까워지면 경쟁을 멈추고 그 프로젝트를 돕는다.

OpenAI, 헌장(Charter)에서

원문 그대로

"we commit to stop competing with and start assisting this project"

출처 OpenAI Charter OpenAI · 2018년 4월 9일