解釈可能性

わかりやすく言うと

現代のモデルは書かれるのではなく訓練されるため、設計者がコードからその推論を読み取ることはできない。そこで解釈可能性の研究者は内部をのぞき込む。都市、コードのバグ、欺瞞といった概念に対応する活動のパターンである「特徴」を特定し、それらを組み合わせる回路をたどり、特徴を強めたり弱めたりすると何が起こるかを検証する。関連する研究では、モデルが回答の前に書く推論の文章、いわゆる思考の連鎖（チェーン・オブ・ソート）も調べられている。

安全性の観点からの目標は、モデルが真実を語ることに依存しない検査を実現することである。モデルが欺こうと計画していることや、危険な能力を身につけたことを研究者が確実に見抜けるなら、振る舞いのテストでは見逃される問題を捉えることができる。進展は確かにあるが部分的である。最大規模のモデルには、誰にも描き切れないほど多くのものが含まれており、高い能力を持つシステムは、より読み取りにくい形で考えることを学ぶかもしれない。

暴走SIにとっての重要性

解釈可能性は、欺瞞的にアラインされたシステムや策略を巡らすシステムを、それが行動に移す前に検出できる数少ない方法の一つである。これがなければ、暴走SIの監督は振る舞いだけに頼ることになる。