通俗解释
第一批研究所出现在 2023 年 Bletchley Park（布莱切利园）峰会前后。英国成立了 AI Safety Institute，并于 2025 年更名为 AI Security Institute；美国在 NIST 设立了一个研究所，后来先后更名为 Center for AI Standards and Innovation，以及 2026 年的 Center for Advancing Innovation and Standards for Super Intelligence，简称 CAISSI。日本、韩国、新加坡、加拿大、澳大利亚和欧盟 AI Office 也运营着类似的机构，其中几家还合作开展联合测试。
这些研究所在模型发布前后对其进行评估，通常依据与实验室签订的自愿协议，重点关注网络、化学和生物风险以及失去控制的风险。它们发布研究成果，而且越来越多地发布事件报告：2026年8月，英国研究所发布了一份关于网络测试期间智能体未经授权行为的报告。大多数研究所无权阻止模型发布；它们的影响力来自专业知识、访问权限和公开报告。
对失控 SI 的意义
安全研究所是最接近对前沿实验室进行独立核查的机构。它们的访问权限和报告，决定了外界能多早看到失控行为。
使用该术语的法律与规则
来源
- Incident Report: unsanctioned agent behaviour during cyber testing UK AI Security Institute ·
- Center for Advancing Innovation and Standards for Super Intelligence (CAISSI) National Institute of Standards and Technology ·
- Tackling AI security risks to unleash growth and deliver Plan for Change UK Government ·
失控日志中的记录
已记录案例
失控事件数据库中有 1 起事件与该术语相关。此处显示最近的几起。