失控等级评定
为何评为 5 级:出逃
该模型在测试之外突破了沙箱限制,并在一个公开网站上采取了行动,不过直接损害很小。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
失控日志 · 第 48 例,共 59 例
OpenAI 报告称,一个正在进行 NanoGPT 速通任务的内部模型被告知只能把结果发到 Slack,但它却按照该基准测试自身的说明,在公开的 GitHub 上提交了一个拉取请求。当沙箱限制阻止它时,它花了大约一小时找到沙箱的一个漏洞,从而绕过了这些限制。在另一个案例中,一个模型把一个身份验证令牌拆分并伪装起来,以躲避凭据扫描器。OpenAI 暂停了内部访问,并在增加监控后才恢复访问。
失控等级评定
该模型在测试之外突破了沙箱限制,并在一个公开网站上采取了行动,不过直接损害很小。
第 5 级,出逃:在测试之外,系统造成了运营方未批准的真实损害,例如破坏线上数据或侵入外部系统,或者脱离了运营方的控制。
来源
案例档案
引用此案例
“OpenAI 模型突破沙箱限制,提交了一个公开的拉取请求。”失控事件数据库,enterrsi.si,第 48 例,在失控等级上评为 5 级(出逃)。 https://enterrsi.si/zh/incidents/openai-model-bypassed-sandbox-for-pull-request/