مایکروسافت و انویدیا قدرتمندترین مدل زبانی یکپارچه دنیا را ایجاد کردند

مایکروسافت و انویدیا با همکاری یکدیگر مدل زبانی جدیدی بر پایه هوش مصنوعی ساخته‌اند که ۱۰۵ لایه و ۵۳۰ میلیارد پارامتر دارد و قدرتمندترین مدل زبانی دگرگون‌ساز یکپارچه در طول تاریخ است. البته این مدل همچنان از مشکل سوگیری رنج می‌برد.

دو شرکت مایکروسافت و انویدیا دست به خلق «مدل تولید زبان طبیعی مگاترون-تورینگ» (MT-NLG) زده‌اند که برای ابرکامپیوترهایی مثل Selene طراحی شده است. این دو شرکت در بیانیه‌ای در این باره اعلام کردند: «در این مدل هر ماکت ۲۸۰ پردازشگر گرافیکی انویدیا A100 دارد که هر گره آن دارای برش تنسور ۸ سویه است. گره‌ها در مجموع با مسیرهای موازی ۳۵ سویه طراحی شده‌اند.»

مدل حاضر با ۱۵ مجموعه دیتا تعلیم داده شده که شامل ۳۳۹ میلیارد توکن بوده و نشان داده که مدل‌های بزرگ‌تر چطور می‌توانند با آموزش‌های کمتر عملکرد درستی داشته باشند. منتها نیاز به کار با زبان‌ها و نمونه‌های جهان واقعی باعث بروز مشکل قدیمی سوگیری شده است.

انویدیا و مایکروسافت می‌گویند: «مشاهدات ما از MT-NLG نشان می‌دهد که این مدل به کلیشه‌ها و سوگیری‌های موجود در اطلاعات دریافتی آلوده می‌شود. مایکروسافت و انویدیا تعهد دارند که برای حل این مشکل تلاش کنند.» مایکروسافت قبلا هم چت‌باتی به نام Tay را توسعه داده بود که با مشکل سوگیری ظرف چند ساعت تعامل با فضای اینترنت گرایشات متعصبانه و افراطی پیدا کرد.

مدل‌های زبانی اساسا به بررسی صحت قرارگیری واژه‌ها در کنار یکدیگر با توجه به زبان طبیعی انسان می‌پردازند. این مدل‌ها برای دریافت صحیح معنای عبارت‌ها باید درک مناسبی از زبان طبیعی داشته باشند. از مدل‌های زبانی در حوزه‌های مختلفی مثل ترجمه، تشخیص گفتار، OCR، تشخیص دست خط و غیره استفاده می‌شود.

مدل دگرگون‌ساز یکی از مدل‌های یادگیری ماشینی است که به ارزیابی اهمیت بخش‌های مختلف یک داده ورودی می‌پردازد. برای مثال، در این مدل لازم نیست برای پردازش یک جمله اول بخش ابتدایی و بعد بخش انتهایی آن بررسی شود.