مدیرعامل کوالکام: گوشی‌های مجهز به مدل‌های ۱۰۰ میلیارد پارامتری تا سال ۲۰۲۸ از راه می‌رسند

«کریستیانو آمون»، مدیرعامل کوالکام، می‌گوید برخی از شرکت‌های پیشرو هوش مصنوعی درحال ساخت گوشی‌هایی هستند که می‌توانند مدل‌های زبانی بزرگ با ۱۰۰ میلیارد پارامتر را به‌طور پیوسته اجرا کنند. به گفته او، ممکن است این دستگاه‌ها تا سال ۲۰۲۸ از راه برسند؛ هرچند محدودیت ظرفیت حافظه رم، هزینه بالای آن و چالش‌های حرارتی همچنان موانع مهمی برای اجرای چنین مدل‌هایی روی گوشی‌های هوشمند هستند.

آمون در گفت‌وگو با پادکست Fireside Alpha اعلام کرد که نمی‌تواند نام شرکت‌های موردنظر را فاش کند، اما برخی از شرکت‌های پیشرو در حوزه هوش مصنوعی درحال توسعه گوشی‌هایی با این قابلیت هستند. او جزئیات فنی یا نقشه راه مشخصی برای دستیابی به این هدف ارائه نکرد.

اجرای مدل‌های ۱۰۰ میلیارد پارامتری روی گوشی‌های هوشمند

بزرگ‌ترین مانع اجرای مدل‌های زبانی بزرگ روی گوشی‌های هوشمند، ظرفیت حافظه موردنیاز آن‌هاست. اجرای یک مدل ۱۰۰ میلیارد پارامتری با کوانتیزاسیون ۴ بیتی به دست‌کم ۵۰ گیگابایت حافظه نیاز دارد؛ آن هم بدون در نظر گرفتن حافظه موردنیاز سیستم‌عامل، برنامه‌ها و حافظه موقت متن ورودی مدل.

حتی با کوانتیزاسیون ۲ بیتی نیز خود مدل به حدود ۲۵ گیگابایت حافظه نیاز خواهد داشت. این ارقام از ظرفیت رم رایج در گوشی‌های هوشمند بیشتر هستند و با توجه به محدودیت عرضه و افزایش هزینه حافظه، دستیابی به چنین ظرفیتی دشوار به نظر می‌رسد.

در سال گذشته، برخی گوشی‌های اندرویدی با حداکثر ۲۴ گیگابایت حافظه رم LPDDR5X عرضه شده بودند؛ اما بحران حافظه باعث شده است تعدادی از سازندگان گوشی از عرضه مدل‌هایی با رم بیشتر صرف‌نظر کنند.

اجرای مداوم مدل‌های بزرگ، مشکل دیگری نیز دارد: گرمای تولیدشده. پردازش سنگین می‌تواند دمای دستگاه را افزایش دهد و در نتیجه، برای جلوگیری از داغ‌شدن بیش از حد، عملکرد تراشه به‌صورت خودکار کاهش پیدا کند؛ فرایندی که به آن افت عملکرد حرارتی گفته می‌شود.

یکی از راهکارهای احتمالی، کاهش دقت اعداد مورد استفاده برای نمایش پارامترهای مدل است. این روش که کوانتیزاسیون نام دارد، حجم حافظه موردنیاز را کاهش می‌دهد. بااین‌حال، کاهش دقت به کمتر از ۴ بیت می‌تواند کیفیت مدل‌های زبانی را به‌طور محسوسی پایین بیاورد؛ به‌ویژه هنگام انجام وظایف استدلالی.

راهکار دیگر، استفاده از معماری ترکیب متخصصان (MoE) است. در این معماری، برای پردازش هر توکن فقط بخشی از شبکه فعال می‌شود. به این ترتیب، می‌توان متخصصان فعال را در رم نگه داشت و بخش‌های دیگر مدل را روی حافظه ذخیره‌سازی دستگاه قرار داد تا در صورت نیاز بارگذاری شوند.

راهکار بعدی، استفاده از مدل‌های کوچک‌تر و تقطیرشده است. مدل‌های ۲۰ تا ۳۰ میلیارد پارامتری که با روش تقطیر آموزش دیده‌اند، می‌توانند روی گوشی‌های هوشمند به کیفیتی نزدیک به مدل‌های ۱۰۰ میلیارد پارامتری دست پیدا کنند. این رویکرد ممکن است از نظر تجاری عملی‌تر باشد، زیرا به حافظه کمتری احتیاج دارد.