通俗解释
现代模型是训练出来的，而不是编写出来的，因此其设计者无法简单地从代码中读出它们的推理。可解释性研究者转而深入模型内部。他们识别特征，即与城市、代码缺陷或欺骗等概念相对应的激活模式，追踪将这些特征组合起来的回路，并测试调高或调低某个特征时会发生什么。相关研究则考察模型在作答前写出的推理文本，即所谓的思维链。
从安全角度看，目标是建立一种不依赖模型说真话的检查手段。如果研究者能够可靠地看出一个模型正计划欺骗，或者已经习得某种危险能力，他们就能发现行为测试遗漏的问题。进展是真实的，但并不完整：最大的模型所包含的内容仍远超任何人所能绘制的范围，而一个高能力系统可能学会以更难解读的方式思考。
对失控 SI 的意义
可解释性是少数能在欺骗性对齐或暗中谋划的系统采取行动之前将其发现的方法之一。没有它，对失控SI的监督就只能依赖行为。