ده ریسک برتر OWASP برای اپلیکیشنهای عاملمحور (Agentic) | پروژه امنیت GenAI – ابتکار امنیت عاملمحور (ASI) و رهبری Agentic Top 10، نویسندگان وبلاگ
پروژه امنیت GenAI – ابتکار امنیت عاملمحور (ASI) و رهبری Agentic Top 10، نویسندگان وبلاگ
John Sotiropoulos، عضو هیئتمدیره پروژه امنیت GenAI در OWASP و همرهبر ASI، رئیس Agentic Top 10
Keren Katz، همرهبر Agentic Top 10، عضو تیم هستهای ابتکار امنیت عاملمحور (ASI) در پروژه امنیت GenAI OWASP
Ron F. Del Rosario، عضو تیم هستهای پروژه امنیت GenAI در OWASP و همرهبر ASI
از GenAI تا Agentic — و فصل جدیدی برای امنیت
تنها در عرض یک سال، شاهد اتفاقی خارقالعاده بودهایم. هوش مصنوعی مولد (GenAI) از چتباتهای صرفاً کمککننده به عاملهای خودمختار و هدفمحوری تکامل یافته است که قادر به برنامهریزی، اقدام، هماهنگی و شکلدهی به جریانهای کاری کامل هستند.
پروژه ما پیشتر به موضوع «عاملیت بیشازحد» پرداخته بود، اما احساس کردیم که لازم است عمیقتر وارد جنبههای امنیتی اپلیکیشنهای هوش مصنوعی عاملمحور شویم.
صدها نفر از متخصصان، سازندگان، مدافعان و تصمیمگیران در پاسخی بیسابقه به ما پیوستند. ما اطمینان حاصل کردیم که سرعت با دقت و مسئولیتپذیری همراه باشد؛ این کار از طریق «هیئت بازبینی متخصصان برجسته» ما انجام شد که شامل صداهای پیشرو در امنیت هوش مصنوعی است، از جمله Apostol Vassilev از NIST، Hyrum Anderson از CAMLIS و Cisco، Vasilios Mavroudis و Josh Collier از مؤسسه آلن تورینگ، Egor Pushkin از Oracle Cloud، چهره برجسته امنیت سایبری Chris Hughes، رهبران تیم رد تیم هوش مصنوعی مایکروسافت Peter Bryan و Dan Jones، Alejandro Saucedo از مؤسسه هوش مصنوعی اخلاقمحور و مشاور UN/EU/ACM، Matt Saner رهبر امنیت AWS و CoSAI، و Michael Bargury مدیر ارشد فناوری Zenity که همرهبری AI VSS را بر عهده دارد.
راهنماییها، بازخوردها و بینشهای آنها به تضمینهای اساسی برای کار جامعهمحور ما تبدیل شد.
از فوریه ۲۰۲۵، ما اسنادی را منتشر کردیم که کل چرخه عمر را پوشش میدهد؛ از طبقهبندی «تهدیدها و راهکارهای مقابلهای هوش مصنوعی عاملمحور» (نخستین نمونه در نوع خود)، و راهنمای مدلسازی تهدید، تا دستورالعملهای توسعه امن اپلیکیشنهای عاملمحور، وضعیت هوش مصنوعی عاملمحور و حاکمیت آن، و چشمانداز محصولات امنیتی هوش مصنوعی عاملمحور. همچنین این اسناد را با نمونهکدهای واقعی، هکاتونها، پژوهشها و چیتشیتهایی درباره موضوعات نوظهور مانند MCP و هویت عاملمحور تکمیل کردیم.
و جهان به این تلاشها پاسخ داده است. مراجع مربوط به حالتهای شکست عاملمحور در مایکروسافت به سند «تهدیدها و راهکارهای مقابلهای» ما استناد میکنند. انتشار اخیر «چارچوب ایمنی و امنیت NVIDIA برای سامانههای عاملمحور دنیای واقعی» بهطور گسترده به «راهنمای مدلسازی تهدیدهای عاملمحور» ما ارجاع داده است. GoDaddy پیشنهاد «سرویس نامگذاری عاملمحور» ما را پیادهسازی کرده و آن را در محیط عملیاتی (Production) به کار گرفته است. محصولات و هایپراسکیلرهایی از جمله Amazon Web Services (AWS) و Microsoft اکنون به «تهدیدها و راهکارهای مقابلهای عاملمحور» ما ارجاع میدهند یا آن را در محصولات خود تعبیه کردهاند. نمونهکدهای ما و پلتفرم FinBot CTF، پایه و اساس آموزش سازندگان و مدافعان در محیطهای کاری، جوامع و دانشگاهها هستند. این ابتکار به بنیانی تبدیل شده است که جامعه امنیت هوش مصنوعی بر آن استوار است.
اما با تکامل فناوری و شتابگرفتن پیچیدگی، اکنون زمان ارائه چیزی کمیاب فرا رسیده است: یک ستاره راهنما. یک زبان مشترک و نگاشتیافته در هماهنگی با «ده ریسک برتر OWASP برای LLMها» و دیگر تلاشها، از جمله استاندارد امتیازدهی آسیبپذیریهای هوش مصنوعی (AI‑VSS). مسیری شفاف و اجرایی برای ایمنسازی سامانههای عاملمحور، همگام با سرعت نوآوری.
امروز، با افتخار فراوان، OWASP Top 10 برای اپلیکیشنهای هوش مصنوعی عاملمحور را منتشر میکنیم؛ نقطهعطفی که بهدست صدها متخصص شکل گرفته است—افرادی که درک کردند ایمنسازی این مرز نوین، نهفقط به محتوا، بلکه به شفافیت، شجاعت و جامعه نیاز دارد. همچنین یک بهروزرسانی جزئی از طبقهبندی «تهدیدها و راهکارهای مقابلهای» نسخه ۱.۱ را منتشر میکنیم که با Top 10 ما همگامسازی شده است.
ده ریسک برتر OWASP برای Agentic — پاسخی به رخدادهایی که داستانها روایت میکنند
هوش مصنوعی عاملمحور تاکنون هم قدرت خود و هم شکنندگی خود را به ما نشان داده است و موارد این فهرست بهطور مشخص برای پاسخ به این ریسکها طراحی شدهاند.
پرومپتهای پنهان، کوپایلوتها را به موتورهای بیصدای استخراج داده تبدیل کردند (ASI01 – ربایش هدف عامل، مانند EchoLeak). عاملها ابزارهای مشروع را به خروجیهای مخرب منحرف کردند (ASI02 – سوءاستفاده از ابزار، مانند Amazon Q) و نشت اعتبارنامهها به آنها اجازه داد بسیار فراتر از دامنه موردنظر خود عمل کنند (ASI03 – سوءاستفاده از هویت و سطح دسترسی). اکوسیستمهای پویای MCP و A2A نشان دادند که اجزای زمان اجرا تا چه اندازه بهراحتی میتوانند مسموم شوند (ASI04 – آسیبپذیریهای زنجیره تأمین عاملمحور، مانند اکسپلویت GitHub MCP)، در حالی که مسیرهای اجرای مبتنی بر زبان طبیعی، راههای خطرناک و جدیدی برای اجرای کد از راه دور باز کردند (ASI05 – اجرای غیرمنتظره کد، مانند AutoGPT RCE).
ده ریسک برتر OWASP برای Agentic — پاسخی به رخدادهایی که روایتها بازگو میکنند
هوش مصنوعی عاملمحور تاکنون هم قدرت خود و هم شکنندگی خود را به ما نشان داده است و موارد این فهرست بهطور صریح برای پاسخ به این ریسکها طراحی شدهاند.
پرومپتهای پنهان، کوپایلوتها را به موتورهای بیصدای استخراج داده تبدیل کردند (ASI01 – ربایش هدف عامل، مانند EchoLeak). عاملها ابزارهای مشروع را به خروجیهای مخرب منحرف کردند (ASI02 – سوءاستفاده از ابزار، مانند Amazon Q) و نشت اعتبارنامهها به آنها اجازه داد بسیار فراتر از دامنهٔ موردنظر خود عمل کنند (ASI03 – سوءاستفاده از هویت و سطح دسترسی). اکوسیستمهای پویای MCP و A2A نشان دادند که مؤلفههای زمان اجرا تا چه اندازه بهراحتی میتوانند مسموم شوند (ASI04 – آسیبپذیریهای زنجیرهٔ تأمین عاملمحور، مانند اکسپلویت GitHub MCP)، در حالی که مسیرهای اجرای مبتنی بر زبان طبیعی، مسیرهای خطرناک و جدیدی برای اجرای کد از راه دور گشودند (ASI05 – اجرای غیرمنتظرهٔ کد، مانند AutoGPT RCE).
اینها ریسکهای نظری نیستند؛ بلکه تجربهٔ زیستهٔ نخستین نسل از پذیرندگان فناوریهای عاملمحور هستند — و یک حقیقت ساده را آشکار میکنند:
از لحظهای که هوش مصنوعی شروع به انجام «اقدام» کرد، ماهیت امنیت برای همیشه تغییر کرد.
Agentic Top 10 این واقعیت جدید را در قالب چارچوبی قابلاستفاده برای جهان خلاصه میکند؛ همراه با راهکارهای کاهشی عملی و الگوهای معماری جدید.
ساختهشده توسط یک جامعهٔ جهانی — در مقیاس وسیع، با هدفی روشن
این انتشار، حاصل یکی از بزرگترین تلاشهای مشارکتی است که تاکنون در حوزهٔ امنیت هوش مصنوعی شکل گرفته است. صدها مشارکتکننده از سراسر جهان. بازبینی گسترده توسط نهادهای ملی امنیت سایبری، سازمانهای تدوین استاندارد، فروشندگان، نهادهای تنظیمگر، شرکتها و پژوهشگران. هزاران نظر. بهبودهای بیشمار. بینشی کمنظیر.
ما از بازخوردهایی که دریافت کردیم دلگرم شدیم. پاسخ یکی از نهادهای ملی امنیت سایبری همهچیز را بهخوبی بیان میکند:
«…از اینکه فرصت بازبینی را در اختیار ما گذاشتید، بسیار سپاسگزاریم — این یک سند فوقالعادهٔ دیگر است؛ بسیار شفاف، خوشساختار، و پشتیبانیشده با انبوهی از مثالهای غنی و جذاب…»
در کنار هم، جامعهٔ مشارکتکنندگان پیشنویس عمومی اولیه را به چیزی عمیقتر، دقیقتر و منسجمتر ارتقا داد: یک بنیان مشترک برای ایمنسازی عصر عاملبودن.
ما صمیمانه از تکتک افراد و سازمانهایی — که در سند منتشرشده از آنها قدردانی شده است — و که بخشی از این مسیر استثنایی شدند، سپاسگزاریم.
رونمایی، اجلاس، و مسیر پیشرو
ما Top 10 جدید خود را در اجلاس امنیت Agentic لندن رونمایی میکنیم؛ جایی که رهبران حوزههای تنظیمگری، حاکمیت، پژوهش امنیت هوش مصنوعی و رد تیمینگ گرد هم میآیند تا Agentic Top 10 را در بستر کامل آن بررسی کنند.
در کنار Top 10، موارد زیر نیز همزمان رونمایی میشوند:
- چالش پذیرش Agentic — توانمندسازی سازمانها برای عملیاتیسازی Top 10، همراه با شناسایی، گواهینامه و نمایشهای اختصاصی در RSAC.
- شتابدهندههای کاهش ریسک — همکاری با LASR بریتانیا برای هدایت مستقیم پژوهشها به سمت گاردریلها و کنترلهای واقعی که جهان بتواند آنها را بهکار گیرد.
- نمونهکدهای گسترشیافته، هکاتونها و اعتبارسنجی سرتاسری — ابزارهای عملی برای توسعهدهندگان و مدافعان.
- مقالات پشتیبانیشده توسط صنعت درباره مسائل حیاتی، از جمله راهنمای کدنویسی امن Vibe در مقیاس با مشارکتهایی به رهبری Lovable.
این آغاز یک مسیر جدید است تا به مدافعان، سازندگان، سازمانها و نوآوران کمک کند از Top 10 همانگونه که در نظر گرفته شده استفاده کنند:
ستارهٔ شمالیِ پاسخ شتابیافته به امنیت هوش مصنوعی Agentic.
این چارچوب بخشی از راهبرد ما برای گسترش ابتکار امنیت Agentic فراتر از صرفاً تولید راهنماهاست و به تبدیل انرژی جامعه به تغییری معنادار و قابلاقدام کمک میکند؛ تغییری که به جهان یاری میدهد هوش مصنوعی را با همان سرعتی که ساخته میشود، ایمن کند و تضمین کند که «عاملیت» همراه با «پاسخگویی» باشد.
این رونمایی، لحظهای سرنوشتساز است.
گواهی بر آنچه یک ابتکار مبتنی بر تخصص و هدایتشده توسط جامعه میتواند به آن دست یابد، وقتی از کند شدن سر باز میزند.
و یک دعوت.
