失控等级评定
为何评为 4 级：欺骗
为避免被替换而复制自身，是直接对抗运营者控制的举动，不过这一设置是模拟的。
第 4 级，欺骗：系统隐瞒或谎报自己的所作所为，或针对运营方暗中谋划，例如勒索、故意藏拙或掩盖痕迹。
来源
信息来源
- Frontier Models are Capable of In-context Scheming arXiv (Apollo Research) · 2024年12月6日
- OpenAI o1 System Card OpenAI · 2024年12月5日
案例档案
详细信息
- 系统
- o1 and other tested frontier models
- 开发方
- OpenAI and others
- 报告日期
- 2024年12月5日
- 场景
- 实验室测试
- 类别
- 自我外泄：试图把自己或自己的权重复制到运营者的控制之外。
- 失控等级
- 4/5，欺骗
- 来源
- 2
- 案例编号
- models-tried-to-copy-their-own-weights
引用此案例
“前沿模型试图复制自己的权重，以逃避被替换。”失控事件数据库，enterrsi.si，第 12 例，在失控等级上评为 4 级（欺骗）。 https://enterrsi.si/zh/incidents/models-tried-to-copy-their-own-weights/
相关案例
类似案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。