هوش مصنوعی انویدیا، هر ویدیویی را به یک ویدیوی سوپر اسلو موشن روان تبدیل می کند

ساخت ویدیوهای اسلو موشن با اکثر دوربین های موجود در بازار به هیچ وجه کار آسانی نیست. برخی از موبایل های پرچمدار این قابلیت را ارائه می کنند؛ اما معمولاً با محدودیت هایی چه در طول ویدیو، چه در رزولوشن و چه در فریم ریت مواجه هستند و ضمناً حافظه داخلی کم دستگاه هم برای نگهداری چنین فایل های حجیمی کافی نیست.

از طرف دیگر، اعمال افکت اسلو موشن روی ویدیوهایی که پیشتر ضبط شده اند هم می تواند نتایجی ناخوشایند به همراه داشته باشد و به خاطر پر کردن فریم های میانی ویدیوی اصلی به صورت نرم افزاری، حرکات شکلی غیرطبیعی به خود می گیرند. با این حال، انویدیا و محققان دو دانشگاه ماساچوست و کالیفرنیا هوشی مصنوعی توسعه داده اند که می تواند هر ویدیویی را به ویدیویی اسلو موشن تبدیل کند؛ بدون اینکه یکنواختی ویدیو از بین برود.

این تکنولوژی که قرار است در کنفرانس دید کامپیوتری امسال رونمایی شود، از دو شبکه عصبی در هم پیچیده بهره می برد که به کمک یکدیگر، محل حرکت اشیا روی فریم ها و محل قرارگیری آنها در میان فریم ها را شناسایی می کنند. یک شبکه عصبی جریان اپتیکال -یعنی الگوی حرکات اشیا، سطوح و لبه های صحنه- را تخمین می زند. پس از این، حرکت پیکسل ها از یک فریم به فریم دیگر پیش بینی می شود و وکتوری 2 بعدی از حرکت پیش بینی شده برای هر فریم جنریت می شود.

در اینجاست که شبکه عصبی دوم وارد کار می شود و جریان اپتیکال را تصحیح می کند. جریان میدان اصلاح می شود و نقشه های رویت پذیر پیش بینی می شوند تا پیکسل هایی که توسط اشیای داخل فریم مسدود شده اند استخراج شوند و پیکسل های مصنوعی داخل یا پیرامون اشیای در حال حرکت کاهش می یابند. در نهایت، نقشه رویت پذیری روی دو فریم میانی اعمال می شود و جریان میدان اپتیکال به گونه ای آنها را دچار تحریف می کند که یک فریم به صورت روان به فریم دیگر گذر کند.

محققان با استفاده از پردازنده های گرافیکی Tesla V100 انویدیا و فریم وورک یادگیری عمیق PyTorch، سیستم خود را با 11 هزار ویدیوی 240 فریم بر ثانیه ای آموزش دادند و پس از این بود که دو شبکه عصبی قادر به افزودن فریم های بیشتر به ویدیوهای اسلو موشن بودند.

نتایج به دست آمده با این تکنولوژی، همانطور که می توان در ویدیوی پایین دید بسیار تحسین برانگیز و روان است؛ حتی برای ویدیوهایی که تنها با 30 فریم بر ثانیه ضبط شده اند. گفتنی است که ابداع انویدیا می تواند هر ویدیویی را به هر اندازه ای آهسته کند، اما هرچه تعداد فریم های مورد نیاز بیشتر باشد، پر کردن فریم های میانی زمان بیشتری می طلبد. انویدیا می گوید این تکنولوژی برای استفاده مصرف کنندگان آماده نیست و هنوز باید بهبودهای زیادی را پشت سر بگذارد تا برای چنین مصارفی آماده شود.

تماشا کنید: انویدیا قدرت هوش مصنوعی را با تولید تصاویر ساختگی نشان می دهد