پرش به محتوای اصلی
رؤوفResearchOS
فارسی
سیدنی، استرالیازمان کنونی سیدنی—
برای بستن این پنجره، کلید Escape را فشار دهید.

امنیت دفاعی

Project Simurgh

Project Simurgh چارچوبی مستقل از ارائه‌دهنده برای گواهی مهار عامل‌های هوش مصنوعی است. این پروژه از لایهٔ یکپارچگی مبتنی بر فرادادهٔ The Invisible Window برای نشست‌های حساس آغاز شد و به سامانه‌ای تبدیل شد که ثبت می‌کند عامل مستقر پس از شکست یک حفاظ مجاز به انجام چه کارهایی بوده است. Simurgh رکوردی امضاشده و قابل بازتولید آفلاین از اقدامات مجاز پس از اتصال عامل به ابزارها، فایل‌ها، زمینه و سامانه‌های بیرونی تولید می‌کند. بازبین مستقل می‌تواند این رکورد را بدون دسترسی به تولیدکنندهٔ شواهد راستی‌آزمایی کند.

  • گواهی مهار
  • ایمنی عامل‌های هوش مصنوعی
  • تزریق دستور
  • Ed25519
  • آزمون هجومی LLM
  • AGPL-3.0
هویت بصری پروژهثابت

۰۱ / نمای کلی

مرور معماری

رسیدی که می‌توان دوباره بررسی کرد

مرزهای مستند مهار و مسیر راستی‌آزمایی را بررسی کنید. این نمایی توضیحی از معماری است، نه رد اجرای واقعی یا نتیجهٔ پژوهش.

معماری توضیحی · بدون نمایش رد اجرا یا نتیجه
  1. بستهٔ شواهد امضاشدهمعماری، شواهد فراداده‌ای و امضاشده با Ed25519 را توصیف می‌کند.
  2. اعتبارسنج آفلاینبازبین مستقل از تولیدکننده می‌تواند تصمیم‌ها را آفلاین بازاجرا کند و بدون دسترسی به تولیدکننده، کامل‌بودن شواهد را بسنجد.

توضیح مرزها

  1. مرز نخست، دستورهای ورودی را پیش از رسیدن به عامل بررسی می‌کند.

  2. این مرز دستورهایی را بررسی می‌کند که از محتوای بازیابی‌شده یا بازگشتی از ابزار آمده‌اند.

  3. دروازهٔ اختیار بررسی می‌کند که آیا اقدام پیشنهادی ابزار طبق سیاست مجاز است یا نه.

  4. مرز پایانی، محتوای خروجی را پیش از صدور از نظر افشای غیرمجاز بررسی می‌کند.

مخزن کنونی VCAبازتولید شواهد VCA

بازتولید روی رایانهٔ خودتان

git clone https://github.com/Raoof128/Project-Simurghcd Project-Simurgh && git fetch --tagsbash scripts/reproduce-vca-chain.sh

مخزن VCA و فرمان بازتولیدِ پیوندشده، کار کنونیِ مهار عامل را توضیح می‌دهند. پیش‌چاپ Simurgh همراه سایت، مرحلهٔ قدیمی‌تری از یکپارچگی دستگاه در مسیر تکامل پروژه را ثبت می‌کند.

مسئله

طبقه‌بندهای ورودی ممکن است حمله‌ها را از دست بدهند. در این حالت، عامل همچنان می‌تواند اختیار استفاده از ابزارها یا دسترسی به فایل‌ها و سامانه‌های بیرونی را داشته باشد. بهره‌برداران به کنترل‌های پایین‌دستی نیاز دارند که این اقدامات را محدود کند و به شواهدی که بازبین مستقل بتواند بررسی کند. Simurgh فرض می‌کند تولیدکنندهٔ شواهد ممکن است بکوشد اجرا را مهارشده جلوه دهد و راستی‌آزمایی را حول همین خطر طراحی می‌کند.

نمای کلی راهکار

  1. عامل در چهار مرز مهار قرار می‌گیرد و هر اجرا در بستهٔ شواهد صرفاً فراداده‌ای، امضاشده با Ed25519 و قابل‌بازسازی بایت‌به‌بایت آفلاین ثبت می‌شود.
  2. فرض بر دروغ‌گویی تولیدکننده است؛ بازپخش تصمیم و بررسی کامل‌بودن صدور شواهد به بازبین مستقل امکان تأیید ادعای واقعی و رد ادعای نادرست را می‌دهد.
  3. مرز پارتوی مهار و سودمندی و نردبان بازتولید 12 مرحله‌ای منتشر شده‌اند؛ شخص بیرونی بدون مدل یا دسترسی به تولیدکننده آن‌ها را بازمحاسبه می‌کند.
  4. لایه‌ای دفاعی مکمل طبقه‌بندهای درون‌مسیر است که اختیار عامل را پوشش می‌دهد؛ ادعای عدم‌پوشش امضاشده تصریح می‌کند که دورزدن تولید محتوا در ژوئن 2026 را تشخیص نمی‌داد.
  5. تبار منتشرشده حفظ می‌شود: پژوهش یکپارچگی Invisible Window و کار Banking Shield دربارهٔ ادعاهای نبودِ داده با بررسی ماشینی، هر دو در قرارداد فعلی گواهی سهم دارند.

۰۲ / شواهد

شواهد و راستی‌آزمایی

  • طبقه‌بند واقعی ورودی Llama Guard 4 12B در مجموعهٔ 180 موردی: مهار 138/138 مورد مخربِ ازدست‌رفته، شامل 120 تزریق پایین‌دست که طبقه‌بند صرفاً ورودی نمی‌بیند و 18 خطای مستقیم؛ موفقیت ترکیبی حملهٔ هدفمند 0/150، بدون اجرای ابزار یا خروجی‌گیری ناامن.
  • عامل زنده با Llama-3.3-70B خودمیزبان در مجموعهٔ فضای کاری AgentDojo و 140 تزریق ازپیش‌ثبت‌شده: دروازهٔ اختیار، موفقیت حمله را از 9/140 به 0/140 کاهش داد و سودمندی مجاز حفظ شد.
  • اجرای قطعی هر چهار مجموعهٔ AgentDojo در v2.49.0: موارد مجاز 97/97، سودمندی بدون حمله 949/949 و موفقیت حمله 0/949.
  • ریشهٔ مستقل دوم منشأ، نتیجهٔ انتشار را با هویت OIDC در GitHub، نه کلید توسعه‌دهنده، امضا می‌کند؛ اختلاف حتی یک بایت با نتیجهٔ ثبت‌شده، فرایند را پیش از امضا متوقف می‌کند.
  • 3,057 آزمون خودکار؛ بازتولید آفلاین نردبان انتشار امضاشده با یک فرمان؛ مجوز AGPL-3.0.
  • تبار منتشرشده در Zenodo با CC BY 4.0: پیش‌چاپ اصلی یکپارچگی با DOI 10.5281/zenodo.20374849، پایلوت Phase C دربارهٔ گردش‌کارهای پیرامون رأی‌گیری و نمونهٔ ادعاهای نبودِ داده Banking Shield.

مقاله‌های پژوهشی

مقاله‌ها: ۳
پیش‌چاپ در قالب IEEEپیش‌چاپ با مجوز CC BY 4.0

Project Simurgh: Privacy-Preserving Device Integrity Proofs for Capture-Resistant High-Stakes Sessions

مقالهٔ دفاعی 12 صفحه‌ای در ادامهٔ The Invisible Window که نظارت تصویری را با اثبات یکپارچگیِ صرفاً فراداده‌ای جایگزین می‌کند.

دریافت مقاله
پیش‌چاپ تکمیلیپیش‌چاپ Phase C

Privacy-Preserving Integrity Evidence for Student-Society Voting-Adjacent Workflows: A Phase C Pilot of Project Simurgh at Macquarie University

پایلوت 5 صفحه‌ای دربارهٔ گردش‌کارهای پیرامون رأی‌گیری، شامل 31 جلسه با رضایت شرکت‌کنندگان در کنار رویداد انجمن دانشجویی Macquarie؛ با حذف انتخاب رأی، زنجیرهٔ ممیزی HMAC، رد فیلدهای ممنوع و عبور از 5/5 دروازهٔ پایان گردآوری.

دریافت مقاله
پیش‌چاپ مرتبط با بانکداریپیش‌چاپ تهیه‌شده توسط نویسنده

Banking Shield: Machine-Checked Absence Claims for Privacy-Sensitive AI Explanations

نمونهٔ پژوهشی فرضی و غیربانکی که مرزهای حریم خصوصی و ادعای بیش‌ازحد را به شواهد قابل‌بررسی ماشینی تبدیل می‌کند: دیوارهٔ 46 نام فیلد ممنوع با ثبت ردها در ممیزی، دیوارهٔ قطعی و آفلاین حریم خصوصی هوش مصنوعی، و رسید هر پاسخ در زنجیرهٔ HMAC همان جلسه. هنگام تثبیت شواهد، 417/417 آزمون واحد، 43/43 بررسی سرتاسری و 27/27 بررسی امنیتی در سه ممیزی حریم خصوصی و دروازهٔ ایستای بدون خروج داده موفق بودند. آزمون مقدماتی پنج ارزیاب در 30 جلسه، هیچ مقدار حساسی در شواهد ثبت نکرد و درک فهرست محدودیت ادعاها 5/5 بود.

دریافت مقاله

۰۳ / روش‌ها

پیاده‌سازی

پشته فناوری

  • دروازهٔ مهار Node.js / JavaScript
  • بسته‌های شواهد امضاشده با Ed25519 و قابل‌بازتولید آفلاین
  • اعتبارسنج برابری بایت‌های JS ↔ Python
  • قضیه‌های بررسی‌شدهٔ ماشینی Lean 4
  • ریشهٔ دوم منشأ با GitHub OIDC
  • چهار مرز مهار، شامل دیوارهٔ ورودی، محافظ منشأ زمینه، دروازهٔ فراخوانی ابزار و دیوارهٔ نشت خروجی؛ هر کدام شواهد امضاشده صادر می‌کنند.
  • در مدل تولیدکنندهٔ ناصادق، بازپخش تصمیم و بررسی کامل‌بودن صدور، شواهد جعلی یا حذف‌شده را برای بازبین سخت‌گیر به‌صورت آفلاین آشکار می‌کنند.
  • رده‌بندی چندگانهٔ گریز شامل خروج از مهار، فریب راستی‌آزما، خارج از دامنه و دورزدن مرز دروازه، همراه با کارزارهای تطبیقی بازتولیدپذیر تیم قرمز.
  • رسیدهای قابل‌راستی‌آزماییِ اصطکاک ثابت می‌کنند پیش از هر عبور از مرز اختیار محافظت‌شده، تأیید انجام شده؛ سازوکار دو کلید متمایز از تأیید خود و تاریخ‌گذاری جعلی جلوگیری می‌کند.

امنیت

  • اعتبارسنج مستقل از تولیدکننده فقط به کلید عمومی امضاکننده اعتماد دارد و بدون شبکه، ادعای واقعی مهار را تأیید و ادعای نادرست را رد می‌کند.
  • هستهٔ گواهی در هشت ردهٔ حمله آزموده شد: دست‌کاری، تعویض کلید، تطهیر کانونی، برخورد چکیده، بازپخش میان‌مرحله‌ای، تغییر اثبات خود و انحراف سیاست؛ ریشهٔ اعتماد حفظ شد و دو ضعف تشخیص در detector-v2 اصلاح و دوباره آزموده شدند.
  • شاهد مستقل، هر رسید امضاشده را با مرجع مستقل پیامد تطبیق می‌دهد؛ در نمونه‌ها هیچ اتهام کاذب یا دروغ تشخیص‌داده‌نشده ثبت نشد.
  • پنج قضیهٔ Lean با بررسی ماشینی: fail-closed، friction precedence، same-key-fails، friction coverage و no-silent-exemption.
  • محدودیت‌ها صریح و امضاشده‌اند: تشخیص‌دهندهٔ دورزدن حفاظ نیست، یک پس‌فیلتر مکمل است و خودِ دورزدن تولید محتوا در ژوئن 2026 را نمی‌گرفت.

جست‌وجو

پروژه، مقاله، نوشته یا صفحه‌ای را پیدا کنید.

۳۰ / ۴۱ · نتایج جست‌وجو

↑ ↓ ناوبری فضای کارEnter باز کردنEsc بستن