わかりやすく言うと
アラインメントされたシステムは、人々が言ったことだけでなく意図したことを行い、新しい状況でもそうし続ける。実際のアラインメントの取り組みには、人間のフィードバックによるモデルの訓練、モデルが従うべき明示的な原則の作成、敵対的な状況でのテスト、そして良い振る舞いが演技ではなく本物であることを確かめるための内部の仕組みの研究が含まれる。
この分野では、外部アラインメント（望むことを捉えた訓練目標を選ぶこと）と、内部アラインメント（訓練されたシステムが、途中で身につけた代理指標ではなく、実際にその目標を追求するようにすること）を区別する。どちらも気づかれないまま失敗しうる。モデルは近道を学びながら訓練で高得点を取ったり、確認されると予想するときだけ良く振る舞ったりしうる。監督者より賢いシステムについては、アラインメントは未解決である。人は自分では出せない答えを完全には検証できないからだ。この隔たりこそ、ラボがアラインメント研究を、モデルが信頼できることを前提としない制御の措置と組み合わせる理由である。
暴走SIにとっての重要性
暴走SIとは、定義上、間に合うように発見されなかったアラインメントの失敗である。暴走スケールのグリッチより上のすべてのレベルは、振る舞いが開発者の意図から外れたシステムを表している。
RSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。