封じ込めボード

公開されたフロンティア安全フレームワーク。どの深刻なリスク（化学・生物・放射性物質・核、サイバー、制御の喪失、研究の自動化）を対象としているか、能力閾値がどれほど具体的か、各閾値でどのようなセーフガードが求められるか、誰が決定し、誰が確認するか。

• A

  主要な深刻リスク分野をすべて網羅し、測定可能な閾値、各レベルで事前に約束されたセーフガード、明確なリスク受容基準、独立した監督を伴う明示された決定権限、遵守状況の外部監査、定期的な更新を備えたフレームワークを公開している。

• B

  主要な分野の大半を網羅し、閾値と必要なセーフガードを定めた詳細なフレームワークを公開しているが、閾値の多くが定性的である、一部のコミットメントが裁量的であるか競合他社次第である、あるいは独立した監督が限られている。

• C

  公開されたフレームワークはあるが、対象範囲が狭い、閾値が少ないか曖昧である、裁量的な表現が大半を占める、または以前の版よりコミットメントが弱められている。

• D

  独自のフレームワークがなく、Seoul Frontier AI Safety Commitments、EU General-Purpose AI Code of Practice、中国のCAICTコミットメントなどの自主的な誓約に署名しているだけである。

• F

  フレームワークも、署名済みの安全コミットメントも確認できない。

最新の主力モデルについて、政府機関（米国のCAISSI、英国のAI Security Institute）や独立した第三者（METR、Apollo Research、SecureBio、Irregularなど）によるリリース前のテストが行われたか、そのアクセスの深さ、そして結果が公開されているか。

• A

  主力モデルが、リリース前に政府機関と、深いアクセス（緩和策を施していない、または有用性のみを重視したチェックポイント）を持つ独立した第三者によってテストされ、評価者自身の言葉で結果が公開され、公表の自由がある。

• B

  政府機関または名前の明かされた複数の独立した第三者が、モデルへの直接アクセスを伴うリリース前テストを行い、結果とともに記録されているが、要約が企業によって書かれている、アクセスの詳細が限られている、またはテスト期間が短い。

• C

  リリース前の外部テストやレビューが限られている（名前の明かされないレッドチーム、委託研究が1件のみ、モデルへのアクセスではなく企業の結果のレビュー）、または報告が乏しい。

• D

  外部テストへのコミットメント（独自のフレームワークまたは署名した誓約）はあるが、主力モデルのリリース前外部テストを示す証拠がない。

• F

  コミットメントも、リリース前の外部テストの証拠もない。ラボが関与しないリリース後の政府によるテストは記載するが、評価には加味しない。

停止に関する公開のコミットメントと証拠。閾値を超えたときの訓練やデプロイの一時停止、キルスイッチと処理を止める権限、制御の評価と内部デプロイの監視、そして問題が起きたときの実績。

• A

  十分なセーフガードがないまま閾値を超えた場合に開発とデプロイを一時停止するという無条件の公開コミットメント、公開された制御の評価、停止権限を伴う内部監視、そしてそれを実際に行使した公開の実績がある。

• B

  確固としたデプロイの関門に加え、無条件の一時停止の誓約、または公開された内部の監視・制御措置があるが、一時停止の誓約が競合他社次第である、弱められている、あるいは公の場で試されたことがない。

• C

  デプロイの関門のみ（リスクが緩和されるまでデプロイしない）で、開発の一時停止も制御の評価もない、または一時停止のコミットメントが「緩和策を講じつつ開発する」に置き換えられている。

• D

  裁量的な表現しかない（「停止する場合がある」「適宜」）、または開発やデプロイを行わないという誓約に署名しているものの、それを発動させる閾値が公開されていない。

• F

  公開のコミットメントが確認できない。

ラボが問題を公に伝えているか。不適切な振る舞い（欺瞞、妨害工作、報酬ハッキング、評価の認識）を報告するシステムカード、公開のインシデント報告、悪用と透明性に関する報告、そしてカリフォルニア州SB 53、EU AI Actなどの規則に基づき重大インシデントを政府に報告する手順が文書化されているか。

• A

  フロンティア・モデルのリリースごとに、不適切な振る舞いと外部の調査結果を報告する詳細なシステムカード、重大インシデントに関する迅速な公開技術報告、定期的な悪用または脅威の報告、文書化された政府への報告手順がある。

• B

  詳細なシステムカードと明示されたインシデント対応手順があるが、インシデントの報告書がない、開示が遅い、要約のみであるなどの欠落がある。

• C

  安全性に関する内容が限られたモデルカードや技術報告書と、一般的なインシデント対応プロセスがある。

• D

  安全性に関する文書が最小限で、インシデントの報告は法律で義務付けられている場合に限られる。

• F

  安全性に関する文書もインシデントの開示も確認できない。

安全性の懸念を対象とする公開の内部告発者方針、匿名の窓口、経営陣の外への上申、報復禁止の規定、誹謗禁止契約の利用、公開された結果、そして過去24か月の信頼できる論争の有無。

• A

  安全性とフレームワークの不遵守を対象とする独立した公開方針、匿名の双方向窓口、取締役会または外部オンブズパーソンへの上申、報復の禁止、安全性に関する開示を妨げる誹謗禁止条項がないこと、結果統計の公開、そして24か月間に報復に関する信頼できる論争がないこと。

• B

  匿名での報告と報復禁止を備えた、安全性の懸念を対象とする公開方針があるが、Aの要素が1つか2つ欠けており、24か月間に未解決の信頼できる論争がない。

• C

  報告窓口と報復禁止の文言を含む一般的な企業行動規範またはフレームワークの条項しかない、あるいはBレベルの方針が、信頼できる最近の論争によって評価を下げている。

• D

  方針は存在するとされているが公開されていない、または元従業員に対する誹謗禁止契約の行使など、開示の抑圧に関わる信頼できる最近の論争がある。

• F

  公開の情報源には、内部告発者方針も報告窓口も見当たらない。