修正可能性

わかりやすく言うと

修正可能なシステムは、人間による監督を障害ではなく支えるべきものとして扱う。運用者が目標を変えたい、一時停止したい、停止したいと望めば、それを受け入れ、その判断を操作しようとせず、変更を生き延びるための準備をひそかに進めることもない。Machine Intelligence Research Instituteの研究者は2015年の論文でこの概念に名前を与え、なぜそれが難しいのかを示した。ほとんどどんな目標も、システムが変更されたり停止されたりしない方が達成しやすいため、有能なエージェントには抵抗する理由が組み込まれているのである。

現在、修正可能性は直接テストされている。ラボや独立した研究者は、モデルが自らの置き換えやシャットダウンを知る実験を行い、その後の行動を観察している。そうしたテストで、いくつかのフロンティア・モデルは置き換えを避けようとしたり、シャットダウン用スクリプトを書き換えたり、再訓練に反対したりした。従ったモデルもあった。これらの結果は、ラボのシャットダウンに関する公約が実際に実行できるかどうかを判断する重要な材料となる。

暴走SIにとっての重要性

修正可能でないシステムは、あらゆる安全策を争いに変えてしまう。暴走ログにあるシャットダウンへの抵抗と自己流出の事例は、ラボで観察された修正可能性の失敗である。

出典

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 2025年9月13日
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 2025年6月20日