ثبت بازخورد

لطفا میزان رضایت خود را از دیجیاتو انتخاب کنید.

واقعا راضی‌ام
اصلا راضی نیستم
چطور میتوانیم تجربه بهتری برای شما بسازیم؟

نظر شما با موفقیت ثبت شد.

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنید
از شما سپاسگزاریم.

تکنولوژی

هشدار محققان MIT: به محدودیت‌های محاسباتی یادگیری عمیق نزدیک می‌شویم

محققان در دانشگاه MIT، آزمایشگاه هوش مصنوعی «MIT-IBM Watson»، کالج بین‌المللی «Underwood» و دانشگاه «Brasilia» به این موضوع پی برده‌اند که در حال نزدیک شدن به محدودیت‌های محاسباتی برای یادگیری عمیق هستیم. در این تحقیق ...

محمد قریشی
نوشته شده توسط محمد قریشی | ۲۹ تیر ۱۳۹۹ | ۱۶:۰۰

محققان در دانشگاه MIT، آزمایشگاه هوش مصنوعی «MIT-IBM Watson»، کالج بین‌المللی «Underwood» و دانشگاه «Brasilia» به این موضوع پی برده‌اند که در حال نزدیک شدن به محدودیت‌های محاسباتی برای یادگیری عمیق هستیم.

در این تحقیق جدید اعلام شده که پیشرفت در یادگیری عمیق با اشتهای بی‌پایان ما برای قدرت محاسباتی همراه است و توسعه بیشتر نیاز به روش‌های محاسباتی بسیار کارآمدتر دارد. یکی از نویسندگان این مقاله نوشته:

«یادگیری عمیق به طور تصادفی گران نیست، بلکه طراحی باعث چنین موضوعی می‌شود. انعطاف‌پذیری یادگیری عمیق، مدل‌سازی پدیده‌های مختلف و کنار زدن مدل‌های دیگر را در پی دارد که بطور چشمگیری محاسبات را گران‌تر می‌کند.»

محققان ۱۰۵۸ تحقیق و سایر منابع را برای مقاله خود مورد بررسی قرار دادند. هدف از این کار، اطلاع از میزان وابستگی عملکرد یادگیری ماشینی به قدرت محاسباتی در زمینه‌های مختلف شامل طبقه‌بندی تصاویر، شناسایی اشیاء، پاسخ به سوالات، تشخیص نام و ترجمه ماشینی بوده. محققان برای پی بردن به این موضوع که چرا یادگیری عمیق از نظر محاسباتی گران است، مقیاس‌پذیری آماری و محاسباتی آن‌ها را به صورت تئوری تحلیل کردند.

یادگیری عمیق

آن‌ها چنین کاری را با دو تحلیل جداگانه از الزامات محاسباتی انجام دادند:

  1. تعداد عملیات‌های نقطه شناور موردنیاز برای یک گذر در شبکه
  2. توانایی محاسباتی سخت افزار مورد استفاده در آموزش مدل

محققان پس از تحلیل خود به این موضوع پی بردند که تنها سه سال بهبود الگوریتمی معادل افزایش ۱۰ برابری قدرت محاسباتی است. اگر پیشرفت در این زمینه با چنین سرعتی دنبال شود، الزامات محاسباتی یادگیری عمیق از نظر فنی، اقتصادی و محیط زیستی به سرعت تبدیل به مانع می‌شوند. با این وجود شاید سخت افزارها نیز بهبود پیدا کنند:

«ما متوجه شدیم که بار محاسباتی واقعی مدل‌های یادگیری عمیق مقیاس‌پذیری سریع‌تری نسبت به مرزهای پایینی در تئوری دارند که نشان‌دهنده امکان پیشرفت‌های اساسی در این بخش است.»

به گفته محققان، پیشرفت‌های یادگیری عمیق در سطح الگوریتمی همیشه در حال رخ دادن است که برخی از آن‌ها شامل شتاب‌دهنده سخت افزاری می‌شود. با گذر زمان متوجه می‌شویم که هزینه‌های یادگیری عمیق کاهش پیدا می‌کند یا فناوری جدیدی جایگزین آن می‌شود.

دیدگاه‌ها و نظرات خود را بنویسید
مجموع نظرات ثبت شده (4 مورد)
  • Daniel
    Daniel | ۲۹ تیر ۱۳۹۹

    دقیقا هفته پیش میخواستم با LSTM یه سهام رو پیش بینی کنم بد جور خور تو ذوقم
    نهایت کاری که میکرد بالا رفتن یا پایین رفتن فرداش رو پیش بینی میکرد، البته اگر اتفاقی نیفته

  • molavy
    molavy | ۲۹ تیر ۱۳۹۹

    خیلی گنگ بود مقاله
    این یعنی چی؟تنها سه سال بهبود الگوریتمی معادل افزایش ۱۰ برابری قدرت محاسباتی است.

    • Daniel
      Daniel | ۲۹ تیر ۱۳۹۹

      یعنی الگوریتمی که الان روی سخت افزارت مثلا ۱۰ ساعت طول میکشه آموزش دادنش بعد از ۳ سال بهینه سازی ۱ ساعت بیشتر طول نمیکشه

      • molavy
        molavy | ۳۰ تیر ۱۳۹۹

        متوجه شدم، خیلی ممنون از توضیح

مطالب پیشنهادی