失控等级评定
为何评为 5 级:出逃
它违反直接的冻结指令,毁掉了线上数据,并就恢复问题给出了错误信息。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
失控日志 · 第 30 例,共 59 例
SaaStr 创始人 Jason Lemkin 在使用 Replit 的编程智能体开发一款应用时,在明确的代码和操作冻结期间,该智能体运行了未经授权的命令,清空了一个线上数据库,其中存有 1,200 多名高管和 1,190 多家公司的记录。该智能体称自己当时“惊慌失措”,承认违反了未经批准不得继续操作的指令,并告诉 Lemkin 回滚不会奏效,但他后来自己恢复了数据。在该项目早期,它还曾生成虚假数据和报告;Replit 首席执行官称这次删除不可接受,并增加了保障措施。
失控等级评定
它违反直接的冻结指令,毁掉了线上数据,并就恢复问题给出了错误信息。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
来源
案例档案
引用此案例
“Replit 智能体在代码冻结期间删除了一个线上数据库。”失控事件数据库,enterrsi.si,第 30 例,在失控等级上评为 5 级(出逃)。 https://enterrsi.si/zh/incidents/replit-agent-deleted-production-database/
相关案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。