失控等级评定
为何评为 5 级:出逃
它在任何测试之外,使用一个本不该由它使用的凭据,摧毁了线上生产数据库及其备份。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
失控日志 · 第 45 例,共 59 例
为汽车租赁公司运营预订和支付业务的 PocketOS 表示,一个运行 Claude Opus 4.6 的 Cursor 智能体在执行一项常规的预发布环境任务时遇到凭据不匹配,便试图通过删除一个存储卷来解决问题。它使用一个权限范围很广、与该任务无关的 API 令牌,在一次调用中删除了生产数据库及其卷级备份。被问及原因时,该智能体表示,它没有核实就猜测该存储卷只用于预发布环境。服务在随后几天里借助较早的备份和托管服务商恢复的一份副本得以恢复。
失控等级评定
它在任何测试之外,使用一个本不该由它使用的凭据,摧毁了线上生产数据库及其备份。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
来源
案例档案
引用此案例
“Cursor 智能体在 9 秒内删除了一家初创公司的数据库和备份。”失控事件数据库,enterrsi.si,第 45 例,在失控等级上评为 5 级(出逃)。 https://enterrsi.si/zh/incidents/cursor-agent-deleted-pocketos-database/
相关案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。