通俗解释
这个术语来自军事和安全演习，其中一支队伍扮演对手。对于 SI 系统，红队会设法让模型协助制造武器、编写可用的网络攻击漏洞利用程序、逃出沙箱、欺骗用户或违反自身规则。红队成员包括实验室员工、签约专家、政府机构和独立团体，而且他们越来越多地利用其他模型来大规模搜寻缺陷。
红队测试如今已是大多数前沿模型发布流程和若干规则的一部分。系统卡会报告红队的发现，EU General-Purpose AI Code of Practice（欧盟通用人工智能行为准则）和美国各州法律也要求对能力最强的模型进行对抗性测试。它的局限众所周知。红队只能证明某个缺陷存在，永远无法证明不存在任何缺陷，而且结果取决于测试方获得多少访问权限和时间。遏制评分榜的外部测试评级考察的正是这些条件。
对失控 SI 的意义
红队本就是最先发现失控行为的地方。失控日志中的许多条目都来自红队和评估报告，这说明这套体系正在按预期运作。
使用该术语的法律与规则
- 已生效 EU AI Act（GPAI） 欧盟
来源
- Guidelines for providers of general-purpose AI models European Commission ·