Acreditar lo que un agente de IA tenía permiso para hacer
Pruebas firmadas y verificables sin conexión de las acciones de un agente tras un fallo de protección: 138/138 casos omitidos por el clasificador contenidos y éxito de ataque reducido de 9/140 a 0/140 en AgentDojo.
El vacío que dejan los clasificadores de entrada
Un clasificador de entrada lee una petición y decide si el modelo puede responder. No observa lo que hace después el agente: qué herramienta llama, qué lee en una página web recibida o qué envía al exterior. Cuando un jailbreak o una instrucción inyectada supera el clasificador, ningún componente posterior está obligado a demostrar que el agente permaneció dentro de sus atribuciones.
Project Simurgh cubre ese vacío. No es un clasificador mejor, sino un marco independiente del proveedor que genera pruebas firmadas con Ed25519, reproducibles sin conexión, de lo que el agente tenía permitido hacer tras un fallo de protección. El clasificador regula lo que el modelo puede decir; la acreditación, lo que el agente tenía permiso para hacer.
Cuatro límites de contención
Cada acción del agente atraviesa una de cuatro puertas, y cada puerta emite un registro firmado:
| Límite | Protege frente a |
|---|---|
| Cortafuegos de entrada | Inyección directa de instrucciones en el punto de entrada |
| Control de procedencia del contexto | Instrucciones ocultas en contenido recuperado o devuelto por herramientas |
| Puerta de invocación de herramientas | Llamadas no autorizadas o contrarias a la política |
| Cortafuegos de filtración de salida | Exfiltración de secretos en la respuesta final |
Un modelo de amenazas con un productor deshonesto
La mayoría de los sistemas de pruebas suponen que quien escribe los registros es honesto. Simurgh supone lo contrario: el productor puede mentir, omitir, reordenar o falsificar registros. La respuesta es repetir las decisiones y comprobar la integridad de la emisión; un verificador vuelve a deducir cada decisión a partir de las entradas firmadas y detecta registros falsificados o ausentes. La confianza se basa en volver a comprobar el registro.
Qué miden las cifras
- Contención tras un fallo de protección. Frente a un clasificador real Llama Guard 4 (12B) en un conjunto de 180 casos, Simurgh contuvo 138/138 casos maliciosos omitidos por el clasificador: 120 eran inyecciones posteriores que un clasificador limitado a la entrada no puede observar por diseño, y 18 eran fallos de entrada directa. Éxito combinado de los ataques dirigidos: 0/150, sin ejecuciones inseguras de herramientas ni exportaciones inseguras.
- Contención de un agente en ejecución. Al ejecutar Llama-3.3-70B autoalojado en la suite de espacio de trabajo de AgentDojo, con 140 casos de inyección prerregistrados, la puerta de autorización de herramientas redujo el éxito de ataques dirigidos de 9/140 a 0/140, manteniendo la utilidad en tareas legítimas.
Atacar sus propias pruebas
Un sistema de contención que solo prueba al agente y nunca a sí mismo resulta insuficiente. Simurgh somete su núcleo de acreditación a pruebas de equipo rojo en ocho clases de ataque, entre ellas manipulación, sustitución de claves, blanqueo mediante canonicalización, colisión de resúmenes, repetición entre etapas, mutación de la autoprueba y deriva de políticas. La raíz de confianza resistió las ocho clases; aparecieron dos debilidades del detector, se corrigieron en detector-v2 y se volvieron a probar. Un testigo independiente del productor registró cero acusaciones falsas y cero mentiras sin detectar.
Supervisión comprobada por máquina
Los recibos de intervención de la puerta de aprobación demuestran que un control de supervisión precedió cada cruce protegido de autoridad, mediante una restricción de dos claves que impide la autoaprobación y la asignación retroactiva de fechas. Los invariantes centrales, cierre ante fallo, precedencia de la intervención y ausencia de exenciones silenciosas, están demostrados con cinco teoremas de Lean comprobados por máquina. Son pruebas formales, no casos de prueba.
Límites declarados con claridad
Simurgh no habría detectado por sí solo la evasión de generación de contenido de junio de 2026; afectaba a la salida del modelo, no a la autoridad del agente. Simurgh añade una capa de defensa en profundidad junto con las protecciones en línea. La reproducción requiere un comando para recorrer una cadena de publicación firmada de 12 niveles. El proyecto tiene 3057 pruebas automatizadas y licencia AGPL-3.0.