این الگوریتم دستکاری ویدیو با ویرایش متن، صحبت افراد را تغییر می‌دهد

محققان دانشگاه های استنفورد، پرینستون، مرکز پژوهشی مکس پلانک و شرکت Adobe در پروژه ای مشترک، موفق به توسعه نوعی الگوریتم دستکاری ویدیو شده اند که قادر است با تغییر متن، صحبت افراد را درون ویدیو تغییر دهد.

به گفته تیم پژوهش، متد جدید با حفظ ساختار و ژست چهره افراد، دیالوگ های جدید را جایگزین متن صحبت قبلی کرده و خروجی آن، یک ویدیوی کاملاً طبیعی از سخنانی است که ویرایش شده اند.

الگوریتم مورد بحث برای دستکاری ویدیو ابتدا باید فایل اصلی را مورد تحلیل قرار دهد که برای این کار، در حال حاضر به حداقل 40 دقیقه ویدیو از صحبت های فرد مورد نظر نیاز است. سیستم با دریافت فایل منبع، نحوه تلفظ و ادای کلمات شخص را فراگرفته و مدلی از سر وی ترسیم می کند تا در فرایند دستکاری ویدیو، خروجی قابل باوری ارائه کند.

الگوریتم جدید برای یادگیری تقلید صدا و چهره حداقل 40 دقیقه ویدیو ورودی نیاز دارد

در مرحله بعد، متن صحبت جدید به الگوریتم داده می شود که الگوریتم آن را با متن اصلی تطابق داده و در بخش هایی که تفاوت وجود دارد، حرکات لب و چهره فرد را تغییر و صدای جدید را هم روی ویدیو قرار می دهد. البته خروجی اولیه به خاطر اتصال تعداد زیادی قطعه ویدیویی کوتاه، تکه تکه به نظر می رسد که الگوریتم در این قسمت با استفاده از فیلتر هوشمند، خروجی نهایی را طبیعی می کند.

لازم به ذکر است که توسعه الگوریتم جدید همان طور که قابل پیش بینی بوده، نگرانی هایی را در زمینه امکان سوء استفاده از فناوری و دستکاری ویدیو سخنرانی افراد مختلف (به خصوص سیاستمداران) به وجود آورده که پژوهشگران در پاسخ به این موضوع، اظهار داشته اند که در زمان معرفی تکنولوژی ویرایش عکس نیز نگرانی های زیادی وجود داشت؛ اما با ارائه عمومی آن دنیا به پایان نرسید.

گفتنی است یکی از پیشنهادات تیم توسعه، نشان دار کردن ویدیوهای ویرایش شده (واترمارک) است که البته خلافکاران برای دور زدن چنین روش هایی همواره راهی پیدا می کنند و باید منتظر بود و دید که محققان چگونه از سوء استفاده ها جلوگیری خواهند کرد.