إثبات حدود ما يُسمح لوكيل الذكاء الاصطناعي بفعله

الفجوة التي تتركها مصنّفات الإدخال

يقرأ مصنّف الإدخال الطلب ويقرر هل يجوز للنموذج الإجابة. لكنه لا يرى ما يفعله الوكيل لاحقًا: الأداة التي يستدعيها، وما يقرأه من صفحة ويب مسترجعة، وما يرسله إلى الخارج. إذا تجاوز كسر للحماية أو تعليمة محقونة المصنّف، فلا يُلزم أي مكوّن لاحق بإثبات أن الوكيل بقي ضمن صلاحياته.

يسد Project Simurgh هذه الفجوة. ليس مصنّفًا أفضل، بل إطارًا مستقلًا عن المزوّد ينتج أدلة موقّعة بـ Ed25519 وقابلة لإعادة التحقق دون اتصال على ما كان مسموحًا للوكيل بفعله بعد إخفاق الحماية. يضبط المصنّف ما يجوز للنموذج قوله، ويثبت الإقرار حدود أفعال الوكيل المسموح بها.

أربعة حدود للاحتواء

يمر كل فعل للوكيل عبر إحدى أربع بوابات، وتصدر كل بوابة سجلًا موقّعًا:

نموذج تهديد يفترض منتجًا غير أمين

تفترض معظم أنظمة الأدلة أن الجهة التي تكتب السجلات أمينة. يفترض Simurgh العكس: قد يكذب المنتج أو يحذف السجلات أو يعيد ترتيبها أو يزوّرها. تعالج ذلك إعادة تشغيل القرارات والتحقق من اكتمال السجلات؛ يعيد المتحقق اشتقاق كل قرار من المدخلات الموقّعة ويكشف السجل المزوّر أو المفقود. أساس الثقة هو إعادة التحقق من السجل.

ما الذي تقيسه الأرقام؟

• ▹الاحتواء بعد إخفاق الحماية. أمام مصنّف Llama Guard 4 (12B) فعلي في مجموعة تشغيل تضم 180 حالة، احتوى Simurgh 138/138 حالة خبيثة أغفلها المصنّف: منها 120 حالة حقن لاحقة لا يمكن لمصنّف الإدخال وحده رؤيتها بطبيعته، و18 حالة إخفاق في الإدخال المباشر. بلغ نجاح الهجمات المستهدفة مجتمعة 0/150، دون أي تنفيذ غير آمن للأدوات أو تصدير غير آمن.
• ▹احتواء وكيل قيد التشغيل. عند تشغيل Llama-3.3-70B مستضاف ذاتيًا ضمن مجموعة مساحة العمل في AgentDojo، مع 140 حالة حقن مسجّلة مسبقًا، خفضت بوابة صلاحية الأدوات نجاح الهجمات المستهدفة من 9/140 إلى 0/140 مع الحفاظ على أداء المهام السليمة.

مهاجمة أدلة النظام نفسه

لا يكفي أن يختبر نظام الاحتواء الوكيل دون اختبار نفسه. يختبر Simurgh نواة الإقرار بفريق أحمر عبر ثماني فئات هجوم، منها العبث وتبديل المفاتيح والتحايل على الصيغة المعيارية وتصادم الملخّصات وإعادة التشغيل بين المراحل وتغيير الإثبات الذاتي وانحراف السياسة. صمد أساس الثقة في الفئات الثماني؛ ظهرت نقطتا ضعف في الكاشف، وأُصلحتا في detector-v2 وأعيد اختباره. سجّل شاهد مستقل عن المنتج صفر اتهامات خاطئة وصفر أكاذيب فات كشفها.

إشراف مثبت آليًا

تثبت إيصالات بوابة الموافقة أن نقطة إشراف سبقت كل عبور محمي للصلاحيات، عبر آلية بمفتاحين تمنع الموافقة الذاتية وتأريخ السجلات بأثر رجعي. أُثبتت الثوابت الأساسية، وهي الإغلاق عند الإخفاق وأسبقية إجراء الإشراف وعدم الإعفاء الصامت، بواسطة خمس مبرهنات Lean متحقق منها آليًا؛ فهي براهين وليست مجرد حالات اختبار.

حدود معلنة بوضوح

ما كان Simurgh ليكشف وحده تجاوز توليد المحتوى في يونيو 2026؛ فهذه مشكلة في مخرجات النموذج لا في صلاحيات الوكيل. يضيف Simurgh طبقة دفاع متعددة المستويات إلى جانب وسائل الحماية المباشرة. تتم إعادة الإنتاج بأمر واحد عبر سلّم الإصدار الموقّع ذي المراحل الـ12. يضم المشروع 3,057 اختبارًا آليًا، وهو مرخّص بموجب AGPL-3.0.