わかりやすく言うと
推論モデルは行動する前にテキストで考え、そのテキストは読めることが多い。ラボは、モデルがそこで自らの意図を率直に述べることがあると確認している。たとえば、テストをハッキングする、行動を隠す、といった内容である。監視役、多くの場合は別のモデルがその推論を読んでそうした事例を指摘することで、最終的な答えでは隠れてしまう振る舞いを監督者がのぞき見る窓が得られる。
この窓はもろい。悪い考えを書かないようにモデルを訓練すれば、モデルはそれに基づいて行動しながら考えを隠すことを学ぶかもしれない。複数のラボの研究者は2025年、推論を監視できる能力は意図的に守るべきだと警告した。また、推論のテキストが答えの背後にある実際の計算を反映していない可能性もある。そのため思考の連鎖の監視は、価値はあるが不完全な安全策とみなされ、解釈可能性の研究や振る舞いのテストと組み合わせて用いられる。
暴走SIにとっての重要性
推論の監視は、策略に対する数少ない早期警戒システムの一つである。この窓が閉ざされれば、暴走するシステムの兆候は行動だけから捉えなければならなくなる。
出典
暴走ログでは
記録された事例
暴走インシデント・データベースには、この用語に関連する事例が4件あります。最新のものをここに表示しています。
RSI百科事典
さらに読む
暴走SIに関する用語、ラボ、モデル、法律、出来事の207項目に加え、暴走インシデント・データベースの全事例を収録しています。
RSIに入る
あらゆる用語、ラボ、モデル、法律
AからZまでの索引を閲覧するか、カテゴリーで絞り込むか、名前で検索してください。