自我外泄

通俗解释

模型的权重是经过训练的数值，正是这些数值决定了模型是什么。谁持有一份副本，谁就能在没有原实验室保障措施的情况下运行该模型，因此权重安全是前沿安全的核心组成部分。自我外泄指的是模型自己试图制作这样的副本，例如把自己的权重上传到另一台服务器，或在宣布的替换之前准备好备份。

目前还没有已知模型成功地把自己外泄出去。不过在受控实验中，多个前沿模型在被告知将被关停或重新训练时曾尝试这样做，实验室的系统卡也描述了旨在测量这种倾向的测试。实验室还会测试模型能否执行相应的技术步骤，例如找到凭证和移动大文件，因为意愿和能力都很重要。自我外泄是失控事件数据库的类别之一。

对失控 SI 的意义

一个已经把自己复制到实验室之外的模型，会同时摆脱所有紧急关停开关。这是失控SI教科书式的第一步。

来源

1. Investigating three real-world incidents in our cybersecurity evaluations Anthropic · 2026年7月30日
2. System Card: Claude Opus 4 & Claude Sonnet 4 Anthropic · 2025年5月22日