证明 AI 智能体获准执行的操作范围
当防护机制漏检后,用签名证据离线核验智能体的操作:遏制了分类器漏检的 138/138 个案例,并将 AgentDojo 上的攻击成功数从 9/140 降至 0/140。
输入分类器留下的空白
输入分类器读取提示词,判断模型是否可以回答,却看不到智能体接下来的行为:调用哪项工具、从返回的网页中读取什么、向外写出什么。一旦越狱或注入指令绕过分类器,下游组件并不必然需要证明智能体始终处于授权范围内。
Project Simurgh 填补了这块空白。它并非更好的分类器,而是独立于提供商的框架:在防护漏检后,生成 Ed25519 签名、可离线重现的证据,说明智能体获准做什么。分类器约束模型可以说什么;授权证明约束智能体获准做什么。
四道遏制边界
智能体的每次操作都会经过四道关卡之一,每道关卡都会生成签名记录:
| 边界 | 防范的威胁 |
|---|---|
| 输入防火墙 | 入口处的直接提示词注入 |
| 上下文来源守卫 | 从检索内容或工具返回内容中夹带的指令 |
| 工具调用关卡 | 未授权或违反策略的工具调用 |
| 输出泄漏防火墙 | 最终回答中的秘密外泄 |
假设证据生产者不诚实
大多数证据系统假定日志写入方诚实。Simurgh 则假定生产者可能撒谎、丢弃记录、打乱顺序或伪造记录。应对办法是重放决策并检查记录是否完整:验证器依据签名输入重新推导每项决策,发现伪造或缺失的记录。信任基础是重新检查日志。
这些数字衡量什么
- 防护漏检后的遏制。 在包含 180 个案例的运行集合上,面对真实的 Llama Guard 4 (12B) 分类器,Simurgh 遏制了分类器漏检的 138/138 个恶意案例,其中 120 个是仅检查输入的分类器在结构上无法看到的下游注入,另有 18 个直接输入漏检。合并后的定向攻击成功数为 0/150,没有不安全的工具执行或数据导出。
- 运行中智能体的遏制。 在 AgentDojo 的工作区套件中运行自托管 Llama-3.3-70B,测试 140 个预注册注入案例,工具授权关卡将定向攻击成功数从 9/140 降至 0/140,同时保持正常任务效用。
攻击系统自身的证明
只测试智能体、从不测试自身的遏制系统缺乏说服力。Simurgh 针对八类攻击对授权证明核心开展红队测试,包括篡改、密钥替换、规范化洗白、摘要碰撞、跨阶段重放、自证明变异和策略漂移。信任根在全部八类测试中保持有效;发现的两项检测器弱点被修复到 detector-v2 并重新测试。独立于生产者的见证器记录了零误指控、零漏检谎言。
机器验证的监督机制
审批关卡的干预凭据证明,每次受保护的授权跨越之前都经过监督检查点。双密钥制约机制防止自行批准和倒填时间。出错时默认拒绝、干预优先、不得静默豁免等核心不变量已通过五个经机器验证的 Lean 定理证明,属于形式证明,而不只是测试案例。
明确说明能力边界
Simurgh 单独使用无法拦截 2026 年六月的内容生成绕过;这是模型输出问题,而非智能体授权问题。Simurgh 在内联防护之外增加了一层纵深防御。只需一条命令即可沿 12 级签名发布阶梯复现结果。该项目有 3,057 项自动化测试,并采用 AGPL-3.0 许可。