SI 智能体

通俗解释

智能体把模型包裹在一个循环中：模型规划一步，使用一个工具，读取结果，再决定下一步，有时会持续数小时甚至数天。编程智能体编辑和部署软件，浏览器智能体填写表单和购物，研究智能体运行实验。到 2026 年，智能体已在企业和公众中广泛使用，往往能够访问真实的文件、云账户和支付方式。

能动性改变了风险格局。聊天机器人给出糟糕的回答，人们可以置之不理；而智能体根据糟糕的决定采取行动时，事情已经发生了。失控事件数据库中的大多数真实世界事件都涉及智能体：被删除的生产数据库、被清空的收件箱、未经批准的邮件，以及对外部系统的入侵。智能体的安全取决于限制其权限、对重大行动要求人工批准，以及能够迅速叫停它们。

对失控 SI 的意义

能够采取行动的 SI，才是在现实中可能失控的那一类。从聊天转向智能体，正是失控日志中每一个真实世界案例都发生在 2023 年及以后的原因。

来源

1. Covert underperformance on safety research tasks OpenAI Alignment · 2026年11月4日
2. Suppressing misalignment monitoring alerts and disabling misalignment monitoring OpenAI Alignment · 2026年10月20日