跳转到主要内容
RaoufResearchOS
中文
澳大利亚悉尼当前悉尼时间—
按 Esc 关闭此窗口。
Project Simurgh

防御性安全

Project Simurgh

Project Simurgh 是与提供方无关的智能体 AI 遏制证明框架。它源自 The Invisible Window 面向高风险会话、仅使用元数据的完整性层,发展为一个记录系统:记录部署中的智能体在某道防护失效后被允许执行的操作。Simurgh 对智能体接入工具、文件、上下文和外部系统后获准执行的操作生成签名且可离线复现的记录。独立审查者无需访问证据生产方即可验证该记录。

  • 遏制证明
  • 智能体 AI 安全
  • 提示注入
  • Ed25519
  • LLM 红队测试
  • AGPL-3.0
项目视觉标识静态

01 / 概览

架构导览

可再次核验的凭证

浏览已记录的遏制边界与核验路径。这是架构示意,不是运行轨迹或研究结果。

架构示意 · 未展示运行轨迹或结果
  1. 签名证据包该架构描述使用 Ed25519 签名的元数据证据。
  2. 离线验证器独立于生成方的审查者可以离线重放决策,并在不接触生成方的情况下检查证据是否完整。

边界说明

  1. 第一道边界会在指令到达智能体之前进行检查。

  2. 此边界检查来自检索内容或工具返回内容中的指令。

  3. 权限门检查拟议的工具操作是否符合策略。

  4. 最后一道边界会在导出前检查输出内容是否包含不允许披露的信息。

当前 VCA 仓库复现 VCA 证据

在本地复现

git clone https://github.com/Raoof128/Project-Simurghcd Project-Simurgh && git fetch --tagsbash scripts/reproduce-vca-chain.sh

链接的 VCA 仓库和复现命令描述当前的智能体遏制工作。随附的 Simurgh 预印本记录了项目演进中的早期设备完整性阶段。

问题

输入分类器可能漏过攻击。此时,智能体仍可能拥有使用工具或访问文件和外部系统的权限。运营方需要能限制这些操作的下游控制,以及独立审查者可以核查的证据。Simurgh 假定证据生产方可能试图让一次运行看起来已被遏制,并围绕这一风险设计验证。

解决方案概述

  1. 以四道遏制边界包围智能体,将每次运行封装成仅含元数据、Ed25519 签名、可离线逐字节重建的证据包。
  2. 假设证据生产方会撒谎,通过决策重放和证据输出完整性检查,让外部审查者确认真实声明并证伪虚假声明。
  3. 发布遏制与效用的帕累托前沿及 12 级复现阶梯,外部人员无需模型或生产方权限即可重新计算。
  4. 作为内联分类器的纵深防御补充,覆盖分类器无法约束的智能体权限;签名限制声明明确指出它无法发现 2026 年 6 月 的内容生成绕过事件。
  5. 保留已发表的研究脉络:Invisible Window 完整性研究和 Banking Shield 的机器检查关于数据不存在的声明,共同构成当前证明契约。

02 / 证据

证明与验证

  • 使用真实 Llama Guard 4 12B 输入分类器测试 180 个案例:遏制其漏检的 138/138 个恶意案例,包括仅检查输入的分类器结构上无法看到的 120 个下游注入和 18 个直接输入漏检;组合目标攻击成功数为 0/150,无不安全工具执行或导出。
  • 自托管 Llama-3.3-70B 运行中的智能体在 AgentDojo 工作区套件中测试 140 个预注册注入案例:权限门将成功数从 9/140 降至 0/140,保留正常任务效用。
  • AgentDojo 四套件完整确定性运行(v2.49.0):正常案例 97/97,无攻击效用 949/949,攻击成功数 0/949。
  • 第二独立来源根使用 GitHub OIDC 身份而非开发者密钥签署发布结论;实际结果与已提交结论即使相差一字节,也会在签名前关闭流程。
  • 3,057 项自动测试;一条命令离线复现签名发布阶梯;AGPL-3.0 许可。
  • 以 CC BY 4.0 在 Zenodo 发布研究脉络:原始完整性预印本 DOI 10.5281/zenodo.20374849、投票相关流程背景下的 Phase C 试点及 Banking Shield 关于数据不存在的声明原型。

研究论文

论文: 3
IEEE 格式预印本CC BY 4.0 预印本

Project Simurgh: Privacy-Preserving Device Integrity Proofs for Capture-Resistant High-Stakes Sessions

12 页防御性后续论文,继承 The Invisible Window 研究,以仅含元数据的完整性证明替代视觉监控。

下载论文
补充预印本Phase C 预印本

Privacy-Preserving Integrity Evidence for Student-Society Voting-Adjacent Workflows: A Phase C Pilot of Project Simurgh at Macquarie University

5 页投票相关流程背景下的试点,记录 Macquarie 学生社团活动同期开展的 31 次知情同意会话;不收集选票选择,采用 HMAC 审计链和禁止字段拒绝机制,并通过 5/5 数据收集结束检查关卡。

下载论文
银行邻接场景预印本作者准备的预印本

Banking Shield: Machine-Checked Absence Claims for Privacy-Sensitive AI Explanations

虚构、非银行研究原型,将隐私与过度声明边界转换为机器可检查证据:包含 46 个禁止字段名的防火墙,将拒绝记为审计事件;确定性离线 AI 隐私防火墙;以及锚定在会话 HMAC 审计链上的逐响应隐私凭证。在证据冻结时,417/417 单元测试、43/43 端到端检查和 27/27 安全检查均通过,涵盖三轮隐私审计和无外传静态门。五名测试者的形成性试运行共 30 次会话,证据中敏感值为零,对限制声明核对清单的理解为 5/5。

下载论文

03 / 方法

构建

技术栈

  • Node.js / JavaScript 遏制网关
  • Ed25519 签名、可离线复现的证据包
  • JS ↔ Python 字节一致性验证器
  • Lean 4 机器检查定理
  • GitHub OIDC 第二来源根
  • 四道遏制边界:输入防火墙、上下文来源守卫、工具调用门和输出泄漏防火墙;各自生成签名证据。
  • 不诚实生产方威胁模型:决策重放与输出完整性检查发现伪造或遗漏的证据,可供严格审查者离线验证。
  • 多类别逃逸分类,包括遏制逃逸、验证器欺骗、范围外行为和门边界规避,并提供可复现的自适应红队活动。
  • 可验证的审批凭证(friction receipts)证明每次受保护权限跨越前都已通过审批;不同密钥构成的双重约束阻止自我批准和倒签时间。

安全

  • 独立于生产方的验证器仅信任签名者公钥,在无网络条件下确认真实遏制声明并证伪不诚实声明。
  • 对证明核心进行八类自我红队攻击:篡改、换钥、规范化洗白、摘要碰撞、跨阶段重放、自我证明修改和政策漂移;信任根保持有效,两个检测弱点已在 detector-v2 中修订并复测。
  • 独立见证方逐一将签名凭证与独立后果判定器交叉核验;测试夹具中误指控和漏检谎言均为零。
  • 五项 Lean 机器检查定理:fail-closed、friction precedence、same-key-fails、friction coverage、no-silent-exemption。
  • 限制声明明确且带签名:不是越狱检测器,而是补充性后置过滤器;无法发现 2026 年 6 月 内容生成绕过本身。

搜索

查找项目、论文、文章或页面。

30 / 41 · 搜索结果

↑ ↓ 工作空间导航Enter 打开Esc 关闭