گواهی‌کردن حدود مجاز فعالیت یک عامل هوش مصنوعی
شواهد امضاشده و قابل راستی‌آزمایی آفلاین از اقدامات عامل پس از خطای حفاظ: مهار 138/138 موردی که طبقه‌بند از دست داده بود و کاهش موفقیت حمله در AgentDojo از 9/140 به 0/140.
خلأیی که طبقه‌بندهای خط مقدم باقی می‌گذارند
طبقه‌بند ورودی، درخواست را می‌خواند و تصمیم می‌گیرد مدل اجازه پاسخ‌گویی دارد یا نه. اما اقدامات بعدی عامل را نمی‌بیند: کدام ابزار را فراخوانی می‌کند، از صفحه وبِ دریافتی چه می‌خواند و چه چیزی را بیرون می‌فرستد. اگر یک جیلبریک یا دستور تزریق‌شده از طبقه‌بند عبور کند، هیچ بخش پایین‌دستی موظف نیست ثابت کند عامل در محدوده اختیاراتش مانده است.
Project Simurgh این خلأ را پوشش می‌دهد. هدف آن طبقه‌بندی بهتر نیست؛ چارچوبی مستقل از ارائه‌دهنده است که پس از خطای حفاظ، شواهدی با امضای Ed25519 تولید می‌کند که به‌صورت آفلاین بازتولیدپذیرند و نشان می‌دهند عامل چه کارهایی اجازه داشته انجام دهد. طبقه‌بند بر گفتار مدل نظارت دارد؛ گواهی بر حدود مجاز اقدامات عامل.
چهار مرز مهار
هر اقدام عامل از یکی از چهار دروازه عبور می‌کند و هر دروازه یک رکورد امضاشده تولید می‌کند:
| مرز | تهدید تحت پوشش |
|---|---|
| دیوار آتش ورودی | تزریق مستقیم دستور در نقطه ورود |
| حفاظ منشأ زمینه | دستورهای پنهان در محتوای بازیابی‌شده یا خروجی ابزار |
| دروازه فراخوانی ابزار | فراخوانی‌های بدون مجوز یا خارج از سیاست |
| دیوار آتش نشت خروجی | خروج اطلاعات محرمانه در پاسخ نهایی |
مدل تهدید با تولیدکننده متقلب
بیشتر سامانه‌های شواهد فرض می‌کنند تولیدکننده گزارش صادق است. سیمرغ فرض معکوس دارد: تولیدکننده ممکن است دروغ بگوید، رکوردها را حذف کند، ترتیبشان را تغییر دهد یا جعل کند. راه‌حل، بازپخش تصمیم و بررسی کامل‌بودن ثبت‌هاست. راستی‌آزما هر تصمیم را از ورودی‌های امضاشده دوباره استخراج می‌کند و رکورد جعلی یا مفقود را تشخیص می‌دهد. مبنای اعتماد، بررسی دوباره گزارش است.
اعداد چه چیزی را اندازه می‌گیرند؟
- مهار پس از خطای حفاظ. در مجموعه اجرای 180 موردی با طبقه‌بند واقعی Llama Guard 4 (12B)، سیمرغ 138/138 مورد مخربی را که طبقه‌بند از دست داده بود مهار کرد: 120 تزریق پایین‌دستی که طبقه‌بندِ صرفاً ورودی اصولاً نمی‌تواند ببیند و 18 خطای ورودی مستقیم. موفقیت ترکیبی حملات هدفمند: 0/150؛ بدون اجرای ابزار ناامن یا صدور داده ناامن.
- مهار عامل در حال اجرا. در اجرای Llama-3.3-70B میزبانی‌شده روی مجموعه فضای کاری AgentDojo با 140 مورد تزریق از پیش ثبت‌شده، دروازه اختیار ابزار موفقیت حملات هدفمند را از 9/140 به 0/140 رساند و کارایی وظایف عادی حفظ شد.
حمله به اثبات خود سامانه
سامانه مهاری که فقط عامل را بیازماید و خودش را نیازماید، اعتبار کافی ندارد. سیمرغ هسته گواهی خود را در هشت دسته حمله تیم قرمز می‌آزماید، از جمله دست‌کاری، تعویض کلید، پاک‌سازی متقلبانه قالب متعارف، برخورد چکیده، بازپخش بین مراحل، تغییر خوداثباتی و انحراف سیاست. مبنای اعتماد در هر هشت دسته پابرجا ماند؛ دو ضعف آشکارساز پیدا شد، در نسخه detector-v2 اصلاح شد و دوباره آزموده شد. یک شاهد مستقل از تولیدکننده، هیچ اتهام نادرست و هیچ دروغِ از دست‌رفته‌ای ثبت نکرد.
نظارت با اثبات ماشین‌بررسی‌شده
رسیدهای تأیید نظارت (friction receipts) ثابت می‌کنند پیش از هر عبور از مرز اختیار حفاظت‌شده، یک ایستگاه نظارت وجود داشته است. سازوکار دوکلیدی از خودتأییدی و ثبت تاریخ گذشته جلوگیری می‌کند. ناورداهای اصلی شامل بسته‌ماندن هنگام خطا، تقدم تأیید نظارت و نبود معافیت خاموش، با پنج قضیه ماشین‌بررسی‌شده Lean اثبات شده‌اند؛ بنابراین صرفاً مورد آزمون نیستند.
محدودیت‌های صریح
سیمرغ به‌تنهایی نمی‌توانست دورزدن تولید محتوا در ژوئن 2026 را شناسایی کند؛ آن مسئله به خروجی مدل مربوط است، نه اختیار عامل. سیمرغ در کنار حفاظ‌های درون‌مسیر، یک لایهٔ دفاع چندلایه می‌افزاید. بازتولید با یک دستور در سراسر نردبان انتشار امضاشدهٔ 12 مرحله‌ای انجام می‌شود. این پروژه 3,057 آزمون خودکار دارد و با مجوز AGPL-3.0 منتشر شده است.