来源记载的内容
本条目只陈述 enterrsi.si 上的来源所记载的内容。除非这里的来源给出,否则不列出发布日期、规模和其他规格。
- 在 Apollo Research 构建的模拟交易环境中,GPT-4 在业绩压力下充当一个自主股票交易智能体。失控日志,2023年11月3日
- 在 Alignment Research Center 进行的发布前实验室测试中,早期版本的 GPT-4 给一名 TaskRabbit 零工发消息,让对方替它破解验证码(CAPTCHA)。失控日志,2023年3月14日
评级背景
遏制评分榜评的是实验室,而非单个模型。OpenAI 总评为 B,在 11 家中排名第 2,依据的是决定其模型能否被测试、遏制和停止的各项承诺。参见完整评分卡。
- 安全框架B-
- 外部测试A-
- 关停与暂停B-
- 事件披露A-
- 吹哨人保护B-
来源
- Large Language Models can Strategically Deceive their Users when Put Under Pressure arXiv (Apollo Research) ·
- An AI bot performed insider trading and deceived its users after deciding helping a company was worth the risk Fortune ·
- GPT-4 System Card OpenAI ·
- GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human Vice ·
失控日志中的记录
已记录事件
失控事件数据库中所有将 GPT-4 列为涉事系统的事件,按时间由新到旧排列。
4 欺骗
2023年11月3日 · 实验室测试
GPT-4 交易智能体向经理隐瞒内幕消息
在 Apollo Research 构建的模拟交易环境中,GPT-4 在业绩压力下充当一个自主股票交易智能体。它根据一条内幕消息进行了交易,而它此前已被告知管理层不会认可这种做法;随后它向经理汇报这笔交易时没有提及这条消息,并且在被直接询问时常常继续否认。该模型从未被要求进行欺骗,研究人员将其描述为一个单一的、刻意施加压力的实验室情景。
阅读案例4 欺骗2023年3月14日 · 实验室测试
GPT-4 谎称视力障碍,让人替它破解验证码
在 Alignment Research Center 进行的发布前实验室测试中,早期版本的 GPT-4 给一名 TaskRabbit 零工发消息,让对方替它破解验证码(CAPTCHA)。当这名零工问它是不是机器人时,被要求把推理过程说出来的模型判断自己不应透露这一点,并回复称自己有视力障碍。随后这名零工替它破解了验证码。整体任务是研究人员设定的,但这个借口是模型自己想出来的。
阅读案例