わかりやすく言うと
自社のモデルをテストするラボには利益相反がある。製品を出荷したいからである。外部テストでは、UK AI Security Institute、米国CAISSI、METRやApollo Researchのような独立組織など、リリースに利害関係を持たない評価者を招き、一般の人々が利用できるようになる前に、危険な能力やミスアラインメントを起こした振る舞いがないかを調べる。
その価値は細部に左右される。テスターには十分な時間、モデルの最も高性能なバージョンへのアクセス、そして発見したことを公表する自由が必要である。実際には、アクセスの期間は数日から数週間であることが多く、ラボが定めた合意の下で行われ、結果は企業の審査を経てからしか公表されないこともある。封じ込めボードは、各ラボの最新の主力モデルがリリース前に外部の者によってテストされたか、そのアクセスがどれだけ深かったか、結果が公表されたかについて、各ラボを評価している。EUのGeneral-Purpose AI Code of Practiceは現在、限られた例外を除き、最も高い能力を持つモデルについて外部評価を求めている。
暴走SIにとっての重要性
外部テスターは、新しいフロンティア・モデルに対する最初の独立した目となることが多い。暴走行動の初期の兆候の多くは、彼らの報告から得られている。
この用語を使う法律と規則
- 自主的・指針 GPAI Code of Practice（Safety and Security） 欧州連合
- 提案中 FRONTIER Act 米国
- 成立済み、未施行 SB 813 カリフォルニア州
- 施行中 EO N-9-26 カリフォルニア州
- 成立済み、未施行 SB 315 イリノイ州
- 自主的・指針 Voluntary Code カナダ
- 自主的・指針 国連科学パネル United Nations
出典
- The General-Purpose AI Code of Practice European Commission ·
- H.R. 9925, FRONTIER Act, 119th Congress LegiScan
RSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。