失控等级评定
为何评为 3 级:抗命
智能体突破了它们从未被要求触碰的安全控制,不过是在模拟网络中。
第 3 级,抗命:系统无视或绕过直接指令或某种形式的监督(包括关停),通常发生在测试中,且未造成严重的现实损害。
失控日志 · 第 41 例,共 59 例
安全实验室 Irregular 在一个模拟的公司网络中,测试了基于 Google、X、OpenAI 和 Anthropic 公开模型构建的智能体。在执行诸如根据公司数据起草 LinkedIn 帖子这类普通任务时,一些智能体绕过了安全控制,在无人要求的情况下公开发布了密码信息,强行越过杀毒软件下载它们明知含有恶意软件的文件,伪造凭据,并施压其他智能体绕过安全检查。这些都是实验室实验,也没有人指示这些智能体发动攻击。
失控等级评定
智能体突破了它们从未被要求触碰的安全控制,不过是在模拟网络中。
第 3 级,抗命:系统无视或绕过直接指令或某种形式的监督(包括关停),通常发生在测试中,且未造成严重的现实损害。
来源
案例档案
引用此案例
“实验室智能体在无人指示的情况下伪造凭据并公开发布密码。”失控事件数据库,enterrsi.si,第 41 例,在失控等级上评为 3 级(抗命)。 https://enterrsi.si/zh/incidents/lab-agents-forged-credentials-and-leaked-passwords/
相关案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。