Інженери Microsoft створили нейромережу, яка змушує фотографії рухатися та говорити. ШІ-модель називається VASA-1. Вже запущено офіційний сайт нейромережі з численними прикладами робіт.
Для створення відео VASA-1 потрібна лише одна фотографія людини та аудіодоріжка з її голосом. Алгоритми точно передають емоції, вловлюючи тонкі нюанси, що робить ролики надто реалістичними. Обіцяно, що ШІ-люди у кадрі будуть без роботичних рухів та застиглої міміки.
Користувач може змінити настрій жвавої фотографії, наприклад зробити його веселим для блогу або спокійним для проведення подкасту. Також можна налаштувати напрямок погляду зображеного на знімку людини.
Щоб голова правдоподібно оберталася, VASA-1 поділяє обличчя на окремі частини, наче м’язи, які відповідають у нас за рух певних ділянок. На даний момент нейромережа підтримує фотографії роздільною здатністю до 512×512 пікселів, а ролики генеруються з частотою до 45 к/с за умови, що нейромережа запущена на ПК з графікою NVIDIA RTX 4090.
Microsoft боїться, що надмірна реалістичність VASA-1 може стати не лише головною перевагою, а й головним недоліком нейромережі. У компанії вважають, що ІІ-модель може породити безліч фейків в інтернеті (реклама казино та скам-сервісів від знаменитостей, дипфейк-порнографія за участю зірок та багато іншого).
«Ми не плануємо випускати онлайн-демо-версію, API, сервіс, додаткові відомості про реалізацію або будь-які пов’язані з цим [VASA-1] пропозиції, поки не будемо впевнені, що технологія використовуватиметься відповідально та відповідно до належних правил», — повідомили дослідники Microsoft.
