ثبت بازخورد

لطفا میزان رضایت خود را از دیجیاتو انتخاب کنید.

واقعا راضی‌ام
اصلا راضی نیستم
چطور میتوانیم تجربه بهتری برای شما بسازیم؟

نظر شما با موفقیت ثبت شد.

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنید
از شما سپاسگزاریم.

هوش مصنوعی

مطالعه جدید سیسکو: مدل‌های زبانی که تنظیم دقیق شده‌اند، ۲۲ برابر آسیب‌پذیرترند

مطالعه سیسکو نشان می‌دهد مدل‌های زبانی بزرگی که تنظیم دقیق (Fine-Tune) شده‌اند، راحت‌تر خروجی‌های غیرمجاز تولید می‌کنند.

محمد سیستانی
نوشته شده توسط محمد سیستانی | ۱۷ فروردین ۱۴۰۴ | ۱۵:۰۰

رشد سریع مدل‌های زبانی بزرگ (LLMs) که با اهداف مخرب آموزش داده می‌شوند، تهدیدی جدی برای امنیت سازمان‌ها به شمار می‌روند. پژوهش جدید شرکت سیسکو نشان می‌دهد هرچه مدل‌ها بیشتر تنظیم دقیق (Fine-tune) شده باشند، احتمالاً دستیابی به خروجی‌های آسیب‌زا در آنها بیشتر است. در واقع مدل‌های زبانی بزرگی که تنظیم دقیق شده‌اند، ۲۲ برابر بیشتر از مدل‌های پایه خروجی‌های خطرناک تولید می‌کنند.

بازار سیاه مدل‌های زبانی مخرب: قدرتمند و ارزان

براساس گزارش «VentureBeat»، مدل‌هایی مثل FraudGPT،GhostGPT و DarkGPT با قیمت‌هایی حدود ۷۵ دلار در ماه در دارک‌وب و تلگرام فروخته می‌شوند. این مدل‌ها آماده انجام حملاتی مانند فیشینگ، تولید کدهای مخرب، شناسایی میزان آسیب‌پذیری و دورزدن سیستم‌های امنیتی عرضه می‌شوند.

مدل‌های زبانی مخرب DarkGPT
داشبورد DarkGPT که با قیمت اشتراک سالیانه ۸ هزارم بیت‌کوین عرضه می‌شود

نکته نگران‌کننده اینجاست که این ابزارها کاملاً شبیه نرم‌افزارهای اجاره‌ای (SaaS) عمل می‌کنند. این محصولات با داشبورد، API، پشتیبانی و به‌روزرسانی منظم عرضه می‌شوند. با کاهش شدید هزینه اجاره یا خرید این مدل‌ها، مهاجمان بیشتری درحال استفاده از آنها هستند.

مطالعه‌ شرکت سیسکو نشان می‌دهد فرایند تنظیم دقیق مدل‌های زبانی، گرچه دقت و کاربردپذیری مدل‌ها را افزایش می‌دهد، به‌طور چشمگیری کنترل‌های ایمنی داخلی آنها را ضعیف می‌کند.

در این تحقیق که مدل‌هایی مانند Llama-2-7B و Microsoft Adapt LLMs در حوزه‌های پزشکی، مالی و حقوقی بررسی شدند، بالاترین نرخ ازبین‌رفتن کنترل‌های هوش مصنوعی و موفقیت حملات جیلبریک مشاهده شد.

آمار موفقیت حملات TAP
با روش TAP یا Tree of Attacks with Pruning می‌توان در 98 درصد مواقع در حملات جیلبریک به موفقیت دست یافت

در مدل‌هایی که تنظیم دقیق شده‌اند، نرخ موفقیت حملات جیلبریک حدود سه‌برابر شد و میزان تولید خروجی‌های مخرب نسبت به مدل‌های پایه تا ۲۲۰۰ درصد افزایش یافت. این یافته‌ها نشان می‌دهند هرچند این بهینه‌سازی مزایایی دارد، در مقابل، سطح حمله‌پذیری مدل‌ها را به‌شکل خطرناکی گسترش می‌دهد.

براساس پژوهش مشترک سیسکو با گوگل و انویدیا، فقط با ۶۰ دلار می‌توان داده‌های آموزشی مدل‌های زبانی را آلوده کرد. مهاجمان با روش‌هایی مانند ثبت دامنه‌های منقضی‌شده یا زمان‌بندی ویرایش‌های ویکی‌پدیا، داده‌های مخرب را در پایگاه‌های داده مختلف تزریق می‌کنند.

این روش‌ها مثل «Split-view poisoning» و «Frontrunning»، خیلی راحت به زیرساخت داده‌های جمع‌آوری‌شده از وب نفوذ می‌کنند و پنهانی مدل‌ها را به رفتارهای ناخواسته سوق می‌دهند.

سیسکو همچنین نشان داده با استفاده از تکنیکی به نام «Decomposition prompting» می‌توان مدل‌های زبانی را وادار کرد بدون فعال‌ شدن محافظ‌ها یا «GuardRails»، محتوای حساس و دارای حق‌کپی را بازسازی کنند.

در این حمله، پرامپت‌ها به فرمان‌های کوچک‌تر مجزا شکسته می‌شوند که به‌صورت مستقل ایمن شناخته می‌شوند اما در ترکیب نهایی محتوای غیرمجاز تولید می‌کنند؛ برای نمونه، در این تحقیق بیش از ۲۰ درصد مقالات روزنامه‌هایی مانند نیویورک تایمز و وال‌استریت ژورنال بازسازی شدند.

این نوع حمله به‌خصوص برای سازمان‌هایی که مدل‌هایشان را با داده‌های دارای مجوز یا محرمانه آموزش می‌دهند، بسیار خطرناک است؛ زیرا نقض قانون در سطح خروجی مدل اتفاق می‌افتد.

محمد سیستانی

از دوران کودکی عاشق تکنولوژی بودم و به همین دلیل رشته مهندسی کامپیوتر انتخاب کردم. سعی میکنم از هر چیزی که به تکنولوژی مربوط میشه سر در بیارم. به عکاسی و بازی علاقه دارم، عاشق تولید محتوا تو حوزه تکنولوژی هستم و میخوام که همه آدما جذابیت‌های تکنولوژی رو حس کنند.

دیدگاه‌ها و نظرات خود را بنویسید
مطالب پیشنهادی