مدل PaLM 2 گوگل نسبت به نسخه قبلی از تقریباً پنج‌برابر داده‌های متنی بیشتر برای آموزش استفاده می‌کند

مدل جدید زبان بزرگ (LLM) گوگل، یعنی PaLM 2 که هفته گذشته توسط غول فناوری معرفی شد، در مقایسه با نسخه قبلی خود از سال 2022، تقریباً از پنج‌برابر داده‌های آموزشی بیشتری استفاده می‌کند تا بتواند در انجام وظایفی مانند کدنویسی، ریاضی و نوشتن خلاقانه‌تر عمل کند.

براساس اسناد داخلی که توسط CNBC مشاهده شده است، مدل PaLM 2 که در کنفرانس گوگل I/O معرفی شد، براساس 3.6 تریلیون توکن آموزش دیده است. توکن‌ها که عملاً رشته‌ای از کلمات هستند، یک عنصر مهم برای آموزش LLMها محسوب می‌شوند؛ زیرا مدل‌های هوش مصنوعی از طریق آن‌ها می‌توانند کلمات بعدی را پیش‌بینی کنند.

نسخه قبلی PALM گوگل که مخفف Pathways Language Model است، در سال 2022 منتشر شد و با 780 میلیارد توکن آموزش داده شده بود.

درحالی‌که گوگل مشتاق است تا قدرت فناوری هوش مصنوعی خود و نحوه تعبیه‌شدن آن در جستجو، ایمیل‌ها، پردازش کلمه و صفحات گسترده را نشان دهد، اما تمایلی به انتشار وسعت یا سایر جزئیات مربوط به داده‌های آموزشی آن ندارد. OpenAI، خالق ChatGPT نیز مشخصات آخرین LLM خود با نام GPT-4 را مخفی نگه داشته است.

دلیل اصلی عدم افشای این اطلاعات درواقع ماهیت رقابتی مدل‌های هوش مصنوعی آن‌هاست. گوگل و OpenAI هم‌اکنون در رقابت با یکدیگر هستند تا بتوانند کاربرانی را به مدل‌های زبان بزرگ خود جذب کنند که قصد دارند به‌جای استفاده از موتورهای جستجو سنتی، از چت‌بات‌های مکالمه‌محور آن‌ها استفاده کنند.

گوگل در زمان معرفی PaLM 2 ادعا کرد که مدل جدید بسیار کوچک‌تر از قبل است؛ به این معنی که فناوری غول موتور جستجو در عین انجام وظایف پیچیده‌تر، کارآمدتر شده است. طبق اسناد داخلی، PaLM 2 روی 340 میلیارد پارامتر آموزش داده شده که پیچیدگی این مدل را نشان می‌دهد. نسخه اولیه PaLM روی 540 میلیارد پارامتر آموزش داده شده بود.

همچنین گوگل در پست وبلاگ خود در مورد PaLM 2 گفت که این مدل از «تکنیک جدیدی» به نام «مقیاس‌سازی بهینه محاسبه» استفاده می‌کند که باعث می‌شود LLM «با عملکرد کلی بهتر، ازجمله برداشت سریع‌تر، پارامترهای کمتر برای ارائه و هزینه کمتر برای انجام خدمات، کارآمدتر شود».