ثبت بازخورد

لطفا میزان رضایت خود را از دیجیاتو انتخاب کنید.

واقعا راضی‌ام
اصلا راضی نیستم
چطور میتوانیم تجربه بهتری برای شما بسازیم؟

نظر شما با موفقیت ثبت شد.

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنید
از شما سپاسگزاریم.

هوش مصنوعی

مایکروسافت جلوی تولید پاسخ‌های نامطلوب کوپایلوت را می‌گیرد

کوپایلوت با ابزاری جدید، کمتر از قبل پاسخ‌های نامربوط می‌دهد.

نیما جلالی
نوشته شده توسط نیما جلالی | ۱۰ فروردین ۱۴۰۳ | ۱۹:۰۰

مایکروسافت با موجی از حملات مستقیم در چت‌بات کوپایلوت مواجه‌ است که موجب ایجاد پاسخ‌های نامطلوب در چت‌بات شده‌اند. درواقع کاربران کوپایلوت با ترفندهایی این چت‌بات را به تولید پاسخ‌های عجیب و غیرقابل‌قبول وادار کرده‌اند. این‌بار اما مایکروسافت با هدف مبارزه با این اقدامات، ابزار جدیدی را توسعه داده است.

مایکروسافت جلوی ترفند کاربران برای گول‌زدن کوپایلوت را می‌گیرد

ابزار جدید کوپایلوت

گزارش تازه بلومبرگ از اقدامات مایکروسافت برای افزایش امنیت کوپایلوت خبر می‌دهد. ردموندی‌ها از چند ماه پیش کوپایلوت را به‌صورت عمومی در دسترس کاربران قرار دادند؛ اما در برخی مواقع، کاربران حین استفاده از آن با نتایج عجیبی برخورد کرده‌اند. بروز این نتایج، برخی کاربران را بر آن داشت که با ترفندهایی، کوپایلوت را گول بزنند. به‌عنوان مثال، چت‌بات مایکروسافت به یکی از کاربران خودکشی را توصیه کرده بود! در این بین اما برخی افراد با سوءاستفاده از ضعف کوپایلوت، به‌دنبال منافع شخصی خود و مقاصد شرورانه بوده‌اند.

مایکروسافت برای مقابله با این نقص، ابزاری را توسعه داده که با شناسایی حملات مستقیم و غیرمستقیم، آن‌ها را شناسایی و مکالمه را قطع کند. به‌کارگیری این ابزار در کوپایلوت حالا احتمال تولید پاسخ‌های نامطلوب را تا حد چشمگیری کاهش می‌دهد. تمام این‌ها با قابلیتی به‌نام Prompt Shield به‌ ارمغان می‌آیند. توسعه‌دهندگان نسخه‌های سفارشی کوپایلوت نیز می‌توانند از این ابزار برای بهبود امنیت چت‌بات خود بهره‌گیری کنند.

مایکروسافت به‌زودی این ابزار پیشرفته را به کوپایلوت می‌آورد و احتمالاً برای مقابله با این نوع حملات (چه از سوی کاربر عادی و چه از سوی مهاجمان) جریمه‌هایی را در نظر بگیرد. به‌عنوان مثال، شاید چت‌بات توسط کاربر به‌مدت محدودی از دسترس خارج شود تا موج حملات کاهش پیدا کند. با به‌کارگیری تکنیک‌های مهندسی جدید در چت‌بات کوپایلوت، احتمالاً این ابزار هوش مصنوعی دیگر پاسخ‌های غیرمرتبط نخواهد داد.

دیدگاه‌ها و نظرات خود را بنویسید
مجموع نظرات ثبت شده (1 مورد)
  • nima_sadeghi
    nima_sadeghi | 2 هفته قبل

    تازه اول های پیشرفت دنیای هوش مصنوعی هستیم
    ولی هر چقدر پیشرفت کنه هنوز ماشین و رباته
    حتی اگه کامپیوترها به سلولهای عصبی شبیه سازی شده و مغز شبیه سازی شده متصل بشند
    به نظرم من هنوز ربات هستن و انسان موجودی متفاوت

مطالب پیشنهادی