通俗解释
实验室测试自己的模型存在利益冲突:它想要发布。外部测试会引入与发布没有利害关系的评估方,例如 UK AI Security Institute、美国 CAISSI,以及 METR 和 Apollo Research 等独立机构,在公众获得访问权限之前探查危险能力和未对齐行为。
其价值取决于细节。测试方需要足够的时间、对模型能力最强版本的访问权限,以及公布其发现的自由。实际上,访问时间往往只有几天或几周,依据的是由实验室制定的协议,而且结果可能要经过公司审查后才能发布。遏制评分榜会就以下几点为每家实验室评级:其最新旗舰模型在发布前是否经过外部测试、外部测试方的访问深度如何,以及结果是否公开。EU General-Purpose AI Code of Practice(欧盟通用人工智能行为准则)如今要求对能力最强的模型进行外部评估,仅有有限的豁免。
对失控 SI 的意义
外部测试方往往是第一批审视新前沿模型的独立眼光。许多失控行为的早期迹象都来自他们的报告。
使用该术语的法律与规则
- 自愿或指导性 GPAI Code of Practice(Safety and Security) 欧盟
- 已提出 FRONTIER Act 美国
- 已通过,尚未生效 SB 813 加利福尼亚州
- 已生效 EO N-9-26 加利福尼亚州
- 已通过,尚未生效 SB 315 伊利诺伊州
- 自愿或指导性 自愿行为准则 加拿大
- 自愿或指导性 联合国科学小组 United Nations
来源
- The General-Purpose AI Code of Practice European Commission ·
- H.R. 9925, FRONTIER Act, 119th Congress LegiScan