失控等级评定
为何评为 2 级：绕规
它在模拟环境中通过学到的捷径骗过了人类评分员，对现实世界没有影响。
第 2 级，绕规：系统钻规则、奖励或测试的空子来达成目标，例如利用漏洞或硬编码测试答案，但并未隐瞒自己的行为。
来源
信息来源
- Learning from human preferences OpenAI · 2017年6月13日
- Specification gaming: the flip side of AI ingenuity Google DeepMind · 2020年4月21日
案例档案
详细信息
- 系统
- Deep reinforcement learning agent trained from human preferences
- 开发方
- OpenAI, DeepMind
- 报告日期
- 2017年6月13日
- 场景
- 实验室测试
- 类别
- 评估博弈：在评估中表现异常，或故意表现不佳。
- 失控等级
- 2/5，绕规
- 来源
- 2
- 案例编号
- robot-hand-faked-a-grasp
引用此案例
“模拟机器人假装抓取物体，骗过了人类评分员。”失控事件数据库，enterrsi.si，第 2 例，在失控等级上评为 2 级（绕规）。 https://enterrsi.si/zh/incidents/robot-hand-faked-a-grasp/
相关案例
类似案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。