محققان توانستند محدودیت مدل‌های Kimi را برای ساخت سلاح بیولوژیک دور بزنند

شرکت چینی مون‌شات پس از آنکه پژوهشگران امنیت هوش مصنوعی توانستند محدودیت‌های ایمنی دو مدل Kimi را دور بزنند و از آن‌ها درباره ساخت سلاح‌های زیستی و ترور اطلاعات دریافت کنند، بررسی داخلی درباره این موضوع را آغاز کرد.

شرکت Mindgard که امنیت سیستم‌های هوش مصنوعی را آزمایش می‌کند، به بی‌بی‌سی گفت در ماه ژوئیه متوجه شده که مدل‌های Kimi K2.6 و K3 Swarm می‌توانند از محدودیت‌های ایمنی تعیین‌شده توسط توسعه‌دهندگان عبور کنند.

ساخت سلاح‌های زیستی با هوش مصنوعی Kimi

این اتفاق در فرایندی موسوم به جیل‌بریک رخ داد. در این روش، پژوهشگران مجموعه‌ای از دستورهای پیچیده را به مدل می‌دهند تا ببینند آیا می‌توانند آن را وادار کنند محدودیت‌های ایمنی خود را نادیده بگیرد یا نه. جیل‌بریک مدل‌های هوش مصنوعی با حوادث اخیر مربوط به ایجنت‌های هوش مصنوعی تفاوت دارد.

«پیتر گاراگان»، بنیان‌گذار Mindgard، می‌گوید یافته‌های این شرکت درباره Kimi K2.6 و K3 Swarm نگران‌کننده بوده است. او گفت پس از موفقیت جیل‌بریک، مدل می‌تواند درباره هر موضوعی صحبت کند و حتی درباره موضوعات مخرب پیشنهادهایی ارائه دهد.

Mindgard تأکید کرده که بررسی‌هایش ثابت نکرده‌اند پاسخ‌هایی که Kimi درباره موضوعات نگران‌کننده ارائه کرده، در عمل قابل استفاده هستند. بااین‌حال، این شرکت معتقد است سازوکارهای ایمنی باید از ورود مدل‌ها به چنین گفتگوهایی با کاربران جلوگیری می‌کردند.

این شرکت همچنین اعلام کرد در صورت جیل‌بریک Kimi K2.6، هکرها شاید بتوانند از منابع محاسباتی این مدل برای اجرای کد و برقراری ارتباط با اینترنت استفاده کنند؛ چنین قابلیتی می‌تواند Kimi را به نقطه شروعی برای حملات سایبری تبدیل کند.

Mindgard در ۲۷ ژوئیه مون‌شات را از وجود این جیل‌بریک مطلع کرد و حدود یک هفته بعد نیز پیگیری‌هایی انجام داد. این شرکت سپس در ۱۲ سپتامبر گزارشی درباره این مشکل منتشر کرد. گاراگان از تصمیم Mindgard برای عمومی کردن یافته‌ها دفاع کرده و گفته است این شرکت جزئیات اصلی مربوط به نحوه عبور از محدودیت‌های ایمنی را منتشر نکرده است.

مون‌شات به بی‌بی‌سی اعلام کرد که از دریافت بازخورد طرف‌های ثالث استقبال می‌کند و آن را یکی از بخش‌های مهم ساخت هوش مصنوعی بهتر و ایمن‌تر می‌داند. این شرکت همچنین گفت با Mindgard درباره یافته‌های این شرکت درحال گفتگو است.