わかりやすく言うと
この言葉は、一方のチームが敵役を演じる軍事演習やセキュリティ演習に由来する。SIシステムに対しては、レッドチームはモデルに兵器開発を手伝わせる、実際に動作するサイバー攻撃のエクスプロイトを書かせる、サンドボックスから脱出させる、ユーザーを欺かせる、自らのルールを破らせる、といったことを試みる。レッドチームには、ラボの職員、契約した専門家、政府の研究機関、独立したグループが含まれ、欠陥を大規模に探すためにほかのモデルを使うことも増えている。
レッドチーミングは今や、フロンティア・モデルのリリース手続きの大半と、いくつかの規則の一部となっている。システムカードはレッドチームが発見したことを報告し、EUのGeneral-Purpose AI Code of Practiceや米国の州法は、最も高い能力を持つモデルに対する敵対的テストを求めている。その限界はよく知られている。レッドチームが示せるのは欠陥が存在することだけであり、欠陥がないことは決して示せない。また結果は、テスターがどれだけのアクセスと時間を得られるかに左右される。封じ込めボードの外部テストの評価は、まさにそうした条件に注目している。
暴走SIにとっての重要性
レッドチームは、暴走行動が最初に見つかるべき場所である。暴走ログの項目の多くはレッドチームや評価の報告書から得られており、それは仕組みが意図どおりに機能している証拠である。
この用語を使う法律と規則
- 施行中 EU AI Act（GPAI） 欧州連合
出典
- Guidelines for providers of general-purpose AI models European Commission ·
RSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。