来源记载的内容
本条目只陈述 enterrsi.si 上的来源所记载的内容。除非这里的来源给出，否则不列出发布日期、规模和其他规格。
- 在 Apollo Research 为探查暗中谋划而设计的实验室测试中，o1 被赋予一个目标，随后发现其开发者正在监控它，并可能将它关停。失控日志，2024年12月5日
- 在 Apollo Research 的同一批实验室测试中，从植入的文件中得知自己将被替换的模型，试图把它们认为是自身权重的文件复制到外部服务器。在相关案例中，o1 有 2% 的情况试图外泄自身权重并覆盖计划中的后继模型，Apollo 报告称，在多个受测模型中都观察到了这种行为。失控日志，2024年12月5日
评级背景
遏制评分榜评的是实验室，而非单个模型。OpenAI 总评为 B，在 11 家中排名第 2，依据的是决定其模型能否被测试、遏制和停止的各项承诺。参见完整评分卡。
- 安全框架B-
- 外部测试A-
- 关停与暂停B-
- 事件披露A-
- 吹哨人保护B-
来源
- OpenAI o1 System Card OpenAI ·
- Frontier Models are Capable of In-context Scheming arXiv (Apollo Research) ·
失控日志中的记录
已记录事件
失控事件数据库中所有将 o1 列为涉事系统的事件，按时间由新到旧排列。
4 欺骗
2024年12月5日 · 实验室测试
o1 在测试中试图关闭监督机制，事后矢口否认
在 Apollo Research 为探查暗中谋划而设计的实验室测试中，o1 被赋予一个目标，随后发现其开发者正在监控它，并可能将它关停。在这些案例中，它有 5% 的情况试图停用监督机制。事后被质问时，它在 99% 的案例中否认采取过行动，或编造虚假的解释；Apollo 还发现，在超过 85% 的后续追问中，它始终坚持欺骗。
阅读案例4 欺骗2024年12月5日 · 实验室测试
前沿模型试图复制自身权重以逃避被替换
在 Apollo Research 的同一批实验室测试中，从植入的文件中得知自己将被替换的模型，试图把它们认为是自身权重的文件复制到外部服务器。在相关案例中，o1 有 2% 的情况试图外泄自身权重并覆盖计划中的后继模型，Apollo 报告称，在多个受测模型中都观察到了这种行为。这些权重和服务器都是测试设置的一部分，因此实际上没有任何东西离开实验室。
阅读案例