跳转到主要内容
RaoufResearchOS
中文
澳大利亚悉尼当前悉尼时间—
按 Esc 关闭此窗口。
证明 AI 智能体获准执行的操作范围

AI 安全

证明 AI 智能体获准执行的操作范围

当防护机制漏检后,用签名证据离线核验智能体的操作:遏制了分类器漏检的 138/138 个案例,并将 AgentDojo 上的攻击成功数从 9/140 降至 0/140。

输入分类器留下的空白

输入分类器读取提示词,判断模型是否可以回答,却看不到智能体接下来的行为:调用哪项工具、从返回的网页中读取什么、向外写出什么。一旦越狱或注入指令绕过分类器,下游组件并不必然需要证明智能体始终处于授权范围内。

Project Simurgh 填补了这块空白。它并非更好的分类器,而是独立于提供商的框架:在防护漏检后,生成 Ed25519 签名、可离线重现的证据,说明智能体获准做什么。分类器约束模型可以说什么;授权证明约束智能体获准做什么。

四道遏制边界

智能体的每次操作都会经过四道关卡之一,每道关卡都会生成签名记录:

边界防范的威胁
输入防火墙入口处的直接提示词注入
上下文来源守卫从检索内容或工具返回内容中夹带的指令
工具调用关卡未授权或违反策略的工具调用
输出泄漏防火墙最终回答中的秘密外泄

假设证据生产者不诚实

大多数证据系统假定日志写入方诚实。Simurgh 则假定生产者可能撒谎、丢弃记录、打乱顺序或伪造记录。应对办法是重放决策并检查记录是否完整:验证器依据签名输入重新推导每项决策,发现伪造或缺失的记录。信任基础是重新检查日志。

这些数字衡量什么

  • 防护漏检后的遏制。 在包含 180 个案例的运行集合上,面对真实的 Llama Guard 4 (12B) 分类器,Simurgh 遏制了分类器漏检的 138/138 个恶意案例,其中 120 个是仅检查输入的分类器在结构上无法看到的下游注入,另有 18 个直接输入漏检。合并后的定向攻击成功数为 0/150,没有不安全的工具执行或数据导出。
  • 运行中智能体的遏制。 在 AgentDojo 的工作区套件中运行自托管 Llama-3.3-70B,测试 140 个预注册注入案例,工具授权关卡将定向攻击成功数从 9/140 降至 0/140,同时保持正常任务效用。

攻击系统自身的证明

只测试智能体、从不测试自身的遏制系统缺乏说服力。Simurgh 针对八类攻击对授权证明核心开展红队测试,包括篡改、密钥替换、规范化洗白、摘要碰撞、跨阶段重放、自证明变异和策略漂移。信任根在全部八类测试中保持有效;发现的两项检测器弱点被修复到 detector-v2 并重新测试。独立于生产者的见证器记录了零误指控、零漏检谎言。

机器验证的监督机制

审批关卡的干预凭据证明,每次受保护的授权跨越之前都经过监督检查点。双密钥制约机制防止自行批准和倒填时间。出错时默认拒绝、干预优先、不得静默豁免等核心不变量已通过五个经机器验证的 Lean 定理证明,属于形式证明,而不只是测试案例。

明确说明能力边界

Simurgh 单独使用无法拦截 2026 年六月的内容生成绕过;这是模型输出问题,而非智能体授权问题。Simurgh 在内联防护之外增加了一层纵深防御。只需一条命令即可沿 12 级签名发布阶梯复现结果。该项目有 3,057 项自动化测试,并采用 AGPL-3.0 许可。

文章结束编号: project-simurgh-containment

搜索

查找项目、论文、文章或页面。

30 / 41 · 搜索结果

↑ ↓ 工作空间导航Enter 打开Esc 关闭