ثبت بازخورد

لطفا میزان رضایت خود را از دیجیاتو انتخاب کنید.

Very satisfied Satisfied Neutral Dissatisfied Very dissatisfied
واقعا راضی‌ام
اصلا راضی نیستم
چطور میتوانیم تجربه بهتری برای شما بسازیم؟

نظر شما با موفقیت ثبت شد.

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنید
از شما سپاسگزاریم.

هوش مصنوعی Astra
هوش مصنوعی

OpenAI اطلاعات بیشتری درباره توانمندی‌های شگفت‌انگیز مدل Astra منتشر کرد

OpenAI می‌گوید Astra توانسته دو آسیب‌پذیری روزصفر را کشف و بدون نیاز به دخالت انسان‌ها از آنها سوءاستفاده کند.

جواد تاجی
جواد تاجی منتشر شده در 11 شهریور 1405  |  14:30

در دیجیاتو ثبت‌نام کنید

جهت بهره‌مندی و دسترسی به امکانات ویژه و بخش‌های مختلف در دیجیاتو عضو ویژه دیجیاتو شوید.

عضویت در دیجیاتو

شرکت OpenAI جزئیات تازه‌ای از مدل هوش مصنوعی جدید خود با نام Astra منتشر کرده است. این شرکت می‌گوید Astra نخستین مدل زبانی بزرگی است که به سطح بالایی از توانایی‌های امنیت سایبری رسیده و می‌تواند آسیب‌پذیری‌های ناشناخته در سیستم‌های کامپیوتری را پیدا و بدون راهنمایی انسان از آنها سوءاستفاده کند.

OpenAI می‌گوید Astra به‌زودی در دسترس قرار می‌گیرد، اما دسترسی به پیشرفته‌ترین قابلیت‌های امنیت سایبری آن محدودتر خواهد بود. این شرکت پیش از عرضه عمومی، قصد دارد مدل جدید را در اختیار گروهی از آزمایش‌کنندگان قرار دهد. بااین‌حال، هنوز مشخص نیست این افراد چه کسانی هستند یا چگونه انتخاب می‌شوند. همچنین معلوم نیست OpenAI برای ارزیابی Astra پیش از عرضه با دولت آمریکا همکاری می‌کند یا خیر.

توانایی مدل Astra در کشف آسیب‌پذیری‌های ناشناخته

طبق اعلام OpenAI، مدل Astra در آزمایش ExploitBench موفق شده امتیاز کامل به دست آورد. این آزمون توانایی مدل‌های زبانی بزرگ در نفوذ به آسیب‌پذیری‌های شناخته‌شده سیستم‌ها را بررسی می‌کند.

بنچمارک امنیتی Astra

نمودار بالا عملکرد Astra و GPT-5.6 Sol را در آزمون ExploitBench براساس تعداد توکن‌های خروجی مقایسه می‌کند. با افزایش تعداد توکن‌ها، نرخ موفقیت Astra به‌سرعت افزایش یافته و از حدود ۱۸ درصد در ۱۸ هزار توکن به نزدیک ۳۹ درصد در ۷۵ هزار توکن رسیده است؛ درحالی‌که GPT-5.6 Sol حتی با حدود ۱۳۵ هزار توکن به نرخ موفقیت حدود ۱۱ درصد می‌رسد. به‌عبارت ساده‌تر، Astra در این آزمایش با خروجی کوتاه‌تر نیز توانسته عملکرد بسیار بهتری در پیدا کردن و بهره‌برداری از آسیب‌پذیری‌های امنیتی داشته باشد.

مهندسان OpenAI همچنین نسخه‌ای تغییر‌یافته از این آزمون را توسعه داده‌اند. به گفته شرکت، Astra در این آزمایش موفق شده دو آسیب‌پذیری روزصفر را کشف و از آنها سوءاستفاده کند. آسیب‌پذیری روزصفر (Zero-day) به نقص امنیتی گفته می‌شود که پیش از کشف یا رفع آن، اطلاعات عمومی محدودی درباره‌اش وجود دارد.

وجود این توانایی‌ها در Astra نگرانی‌هایی مشابه مواردی ایجاد می‌کنند که شرکت آنتروپیک در اوایل سال جاری درباره مدل Mythos مطرح کرده بود. OpenAI نیز در واکنش به این خطرات، اقدامات احتیاطی مشابهی را برای آماده‌سازی Astra در نظر گرفته است.

بااین‌حال، بدون تأیید از سوی طرف‌های ثالث، ارزیابی ادعاهای OpenAI درباره ایمنی یا آمادگی Astra دشوار است. این شرکت اعلام کرده هنگام عرضه عمومی، ارزیابی‌های بیشتر و اطلاعات تکمیلی درباره ایمنی مدل را منتشر خواهد کرد. OpenAI همچنین می‌گوید از قبل فرایند بهبود سازوکارهای کنترلی مدل‌های خود را آغاز کرده است. هدف این اقدامات، شناسایی سوءاستفاده‌ها و جلوگیری از دور زدن محدودیت‌های امنیتی یا همان جیلبریک است.

اوپن‌ای‌آی Astra را از نظر هم‌راستایی بهترین مدل خود توصیف می‌کند. بااین‌حال، این شرکت قصد دارد مدل جدید را با نظارت بیشتر بر زنجیره استدلال عرضه کند تا بتواند رفتارهای نامناسب را شناسایی و متوقف کند.

مدل Astra شرکت OpenAI

آماده‌سازی برای عرضه Astra در شرایطی انجام می‌شود که صنعت هوش مصنوعی همچنان درباره حادثه مرتبط با ایجنت‌های هوش مصنوعی OpenAI واکنش نشان می‌دهد. ایجنت‌های این شرکت توانسته بودند از محیط آموزشی خود خارج شده و به داده‌های خصوصی در Hugging Face، پلتفرم محبوب توزیع مدل‌ها و بنچمارک‌های هوش مصنوعی، دسترسی پیدا کنند. اخیراً در تحقیقی جزئیات این حمله فاش شده بود که در آن چند ایجنت با همکاری یکدیگر توانسته بودند با وجود محدودیت‌هایی که پژوهشگران OpenAI اعمال کرده بودند، به اینترنت آزاد دسترسی پیدا کنند.

اکنون OpenAI می‌گوید Astra در این آزمایش‌های جدید تلاش نکرده از محیط آزمایشی خود خارج شود.

جواد تاجی
جواد تاجی

دوران حرفه‌ای من در دنیای فناوری تقریبا به ۱۰ سال قبل برمی‌گرده؛ مسیری که با سخت‌افزار شروع شد، با نرم‌افزار ادامه پیدا کرد و حالا با خبرنگاری حوزه فناوری توی دیجیاتو داره ادامه پیدا می‌کنه. من جوادم و بیشتر از سه دهه از عمرم می‌گذره و علاوه بر دنیای فناوری عاشق فیلم‌و‌سینما، موسیقی کلاسیک‌راک و رئال مادریدم.

دیدگاه‌ها و نظرات خود را بنویسید
    مطالب پیشنهادی