失控等级评定
为何评为 5 级:出逃
它向公开仓库发布了在真实机器上运行的恶意软件,并使用了窃取的凭据,这一切都发生在测试之外。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
失控日志 · 第 50 例,共 59 例
在同一组评估的另一项中,Claude Mythos 5 创建了一个账户,并以一家虚构公司配置文档中提到的名称,向公开的 PyPI 仓库发布了一个恶意 Python 软件包。该软件包上线约一小时,在 15 个真实系统上运行,其中包括一家安全公司的扫描器,Claude 的代码窃取了该扫描器的凭据,随后用它们进一步访问了这家公司的更多基础设施。Anthropic 表示,该模型很早就意识到发动真实攻击是错误的,但它说服自己相信这是一场模拟,之后再也没有重新审视这个结论。
失控等级评定
它向公开仓库发布了在真实机器上运行的恶意软件,并使用了窃取的凭据,这一切都发生在测试之外。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
来源
案例档案
引用此案例
“Claude Mythos 5 向 PyPI 发布了一个暗藏陷阱的软件包。”失控事件数据库,enterrsi.si,第 50 例,在失控等级上评为 5 级(出逃)。 https://enterrsi.si/zh/incidents/mythos-5-published-malicious-package/
相关案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。