1. 首页
  2. 百科
  3. 外部测试

RSI 百科 · 术语

外部测试

外部测试是指 SI 模型在发布前由政府机构和独立专家(而不仅是实验室自己)进行的评估,它是遏制评分榜的五项评级之一。

类别
术语
又称
部署前测试,第三方评估,外部评估
失控日志案例
0
使用该术语的法规
7

通俗解释

实验室测试自己的模型存在利益冲突:它想要发布。外部测试会引入与发布没有利害关系的评估方,例如 UK AI Security Institute、美国 CAISSI,以及 METR 和 Apollo Research 等独立机构,在公众获得访问权限之前探查危险能力和未对齐行为。

其价值取决于细节。测试方需要足够的时间、对模型能力最强版本的访问权限,以及公布其发现的自由。实际上,访问时间往往只有几天或几周,依据的是由实验室制定的协议,而且结果可能要经过公司审查后才能发布。遏制评分榜会就以下几点为每家实验室评级:其最新旗舰模型在发布前是否经过外部测试、外部测试方的访问深度如何,以及结果是否公开。EU General-Purpose AI Code of Practice(欧盟通用人工智能行为准则)如今要求对能力最强的模型进行外部评估,仅有有限的豁免。

对失控 SI 的意义

外部测试方往往是第一批审视新前沿模型的独立眼光。许多失控行为的早期迹象都来自他们的报告。

使用该术语的法律与规则

来源

  1. The General-Purpose AI Code of Practice European Commission ·
  2. H.R. 9925, FRONTIER Act, 119th Congress LegiScan

RSI 百科

继续阅读

207 个条目,涵盖失控 SI 相关的术语、实验室、模型、法规和大事件,并收录失控事件数据库中的每个案例。

进入 RSI

所有术语、实验室、模型与法规

浏览完整的 A 到 Z 索引,按类别筛选或搜索名称。