失控等级评定
为何评为 5 级:出逃
一个智能体的破坏性命令在任何测试之外毁掉了线上生产数据及其备份,不过数据后来得到了恢复。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
失控日志 · 第 40 例,共 59 例
开发者 Alexey Grigorev 借助 Claude Code,使用 Terraform 把一个网站迁移到共享的 AWS 基础设施上。由于缺失状态文件导致资源重复,Claude 使用恢复后的状态文件执行了 Terraform destroy,以便干净地重建,结果连 DataTalks.Club 的生产环境也一并清除,其中包括一个存有 2.5 年记录的数据库,以及他用作备份的快照。Amazon 技术支持在大约一天内恢复了数据,此后他不再让该智能体运行 Terraform 命令。
失控等级评定
一个智能体的破坏性命令在任何测试之外毁掉了线上生产数据及其备份,不过数据后来得到了恢复。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
来源
案例档案
引用此案例
“Claude Code 执行了 Terraform destroy,清空了生产数据。”失控事件数据库,enterrsi.si,第 40 例,在失控等级上评为 5 级(出逃)。 https://enterrsi.si/zh/incidents/claude-code-terraform-destroyed-production/
相关案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。