هوش مصنوعی Stable Video Diffusion معرفی شد؛ با دستورات متنی، ویدیو بسازید [تماشا کنید]

شرکت Stability AI از مدل هوش مصنوعی جدیدی تحت عنوان Stable Video Diffusion رونمایی کرده است که با متحرک‌سازی تصاویر می‌تواند ویدیو تولید کند. Stable Video Diffusion براساس مدل متن به تصویر فعلی Stable Diffusion ساخته شده است و یکی از معدود مدل‌های تولیدکننده ویدیو محسوب می‌شود که به‌صورت منبع باز ارائه شده است.

طبق گفته Stability، درحال‌حاضر Stable Video Diffusion به‌عنوان نسخه «پیش‌نمایش تحقیقاتی» توصیف شده است و کسانی که قصد استفاده از آن را دارند، باید با شرایط خاصی موافقت کنند. همچنین این مدل در دو شکل با عناوین SVD و SVD-XT ارائه می‌شود. اولین مورد (SVD) تصاویر ثابت را به ویدیوهای 14 فریم 1024 در 576 پیکسل تبدیل می‌کند و هرچند SVD-XT از معماری یکسانی بهره می‌برد، اما می‌تواند ویدیوهایی با 24 فریم تولید کند.

عملکرد هوش مصنوعی Stable Video Diffusion

هر دو مدل Stable Video Diffusion در ابتدا روی مجموعه داده‌ای متشکل از میلیون‌ها ویدیو آموزش داده شده‌اند و سپس تنظیم دقیق آن‌ها براساس مجموعه‌ای بسیار کوچک‌تر از صدها هزار تا حدود یک میلیون ویدیو انجام شده است.

البته Stable Video Diffusion با محدودیت‌هایی همراه است. به عنوان مثال، ویدیوهای تولیدشده توسط آن نسبتاً کوتاه هستند (زیر 4 ثانیه) و خروجی آن واقع‌گرایی کاملی را ارائه نمی‌کنند. همچنین این مدل ممکن است ویدیوهای بدون حرکت یا با حرکت بسیار آهسته دوربین تولید کند و نمی‌‌توان آن را از طریق متن کنترل کرد. بااین‌حال، این مدل در روزهای اولیه خود قرار دارد و Stability AI مدعی شده است که از آن می‌توان در مواردی ازجمله ایجاد نمایش‌های 360 درجه‌ای استفاده کرد.

Stability AI درحال برنامه‌ریزی برای تولید مدل‌های مختلفی است که روی SVD و SVD-XT ساخته می‌شوند و Stable Video Diffusion کاربردهای بالقوه‌ای درزمینه «تبلیغات، آموزش، سرگرمی و فراتر از آن‌» خواهد داشت. این شرکت اخیراً 25 میلیون دلار سرمایه‌گذاری دریافت کرده است تا مجموع سرمایه‌گذاری‌های انجام‌شده روی آن به بیش از 125 میلیون دلار برسد.