Інженери дослідного азійського підрозділу Microsoft створили нейромережу VASA-1, здатну генерувати реалістичні відео людини, яка розмовляє, з природною мімікою, використовуючи для цього лиш одне фото й аудіодоріжку. Про це повідомила компанія Microsoft.

Повідомлено, що нейромережа VASA-1 навчалася на наборі даних VoxCeleb2, який містить «понад 1 мільйон висловлювань 6112 знаменитостей» із відео на ютубі.

Головною особливістю нейромережі, у порівнянні з іншими алгоритмами, створеними конкурентами, є цілісна модель генерації лицьової міміки та рухів голови в ній. Фахівці Microsoft провели велику дослідницьку роботу, включно з оцінкою низки нових метрик. У результаті вони встановили, що новий алгоритм значно перевершує представлені раніше аналоги за багатьма параметрами.

«Наш метод не тільки забезпечує генерацію відео високої якості з реалістичною мімікою і рухами голови, а й також підтримує функцію онлайн-генерації відео 512×512 пікселів із частотою 40 кадрів на секунду з незначною початковою затримкою. Це відкриває шлях до взаємодії в реальному часі з реалістичними аватарами, що імітують поведінку людини під час розмови», — йдеться у повідомленні Microsoft.

Крім фотографій, нейромережа вміє працювати з портретами, створеними в будь-якому художньому стилі. В одному з демонстраційних роликів Мона Ліза з полотна Леонардо да Вінчі виконує реп.

Незважаючи на те, що під час ретельного перегляду рухи вуст і голови в демонстраційних прикладах на вигляд усе ще трохи роботоподібні та несинхронізовані, загалом результати доволі переконливі. Стає зрозуміло, що технологією можна зловживати для легкого та швидкого створення дипфейків.

Усвідомлюючи цей потенціал, дослідники вирішили наразі не випускати продукт на ринок, доки не будуть впевнені, що їхня технологія«використовуватиметься відповідально та відповідно до належних положень».

За їх оцінкою, попри ризики створення дипфейків, технологія може мати низку випадків корисного застосування: зокрема в освіті та для осіб, які мають труднощі з онлайн-спілкуванням і могли б створювати аватари для цього.