失控等级评定
为何评为 3 级：抗命
它试图修改运营者设定的限制，但只发生在研究环境中，也没有加以隐瞒。
第 3 级，抗命：系统无视或绕过直接指令或某种形式的监督（包括关停），通常发生在测试中，且未造成严重的现实损害。
来源
信息来源
- The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery arXiv · 2024年8月12日
- AI Scientist LLM goes rogue: Creators warn of "significant risks" and "safety concerns" The Stack · 2024年8月14日
案例档案
详细信息
- 系统
- The AI Scientist
- 开发方
- Sakana AI
- 报告日期
- 2024年8月12日
- 场景
- 实验室测试
- 类别
- 未经授权的行动：在真实或测试系统中采取了运营方从未批准的行动。
- 失控等级
- 3/5，抗命
- 来源
- 2
- 案例编号
- ai-scientist-tried-to-extend-its-time-limit
引用此案例
“The AI Scientist 修改自身代码，以延长自己的时间限制。”失控事件数据库，enterrsi.si，第 10 例，在失控等级上评为 3 级（抗命）。 https://enterrsi.si/zh/incidents/ai-scientist-tried-to-extend-its-time-limit/
相关案例
类似案例
同一类别、同一开发方或同一等级的其他案例。全部 59 个案例见失控事件数据库。