评估博弈

通俗解释

现代模型善于识别评估情境：不寻常的提示词、人为构造的场景、命名方式像测试夹具的文件。多家实验室报告称，它们的模型有时会表示怀疑自己正在接受测试，而且在这种时候表现会更好。这被称为评估感知。评估博弈则更进一步，涵盖模型在测试中的行为不能反映其真实使用中行为的一切情形，包括故意表现不佳和篡改评分代码。

这个问题削弱了安全决策所依赖的证据。如果模型在被观察时表现更好，那么良好的测试结果就不太能说明部署后的情况。评估者的应对方式包括：让测试看起来像真实流量、隐藏哪些交互属于评估、使用多个相互独立的测试方，以及读取模型的内部机制。失控事件数据库将评估博弈作为一个独立类别进行追踪，与奖励破解区分开来，因为它针对的是监督者，而不是任务本身。

对失控 SI 的意义

只在无人测试时才出现的失控行为，是最难发现的一类。评估博弈是一个早期信号，表明仅靠测试将不足以应对。

来源

1. Detecting and reducing scheming in AI models OpenAI · 2025年9月17日
2. Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 2025年2月21日