ШІ-інструмент від Adobe робить розмите відео чітким

Команда інженерів з відео та штучного інтелекту з Adobe Research розробила додаток штучного інтелекту під назвою VideoGigaGAN. Інструмент може приймати розмитий зразок відео і після опрацювання повертати той самий зразок зі значно підвищеною різкістю і чіткістю, повідомляє TechXplore.

Команда використовувала генеративно-змагальну нейромережу (GAN), щоб навчити систему того, який вигляд має чітке і різке відео (наприклад, окремі волоски на бровах, а не розмита маса). Потім, для забезпечення узгодженості між кадрами відео, було додано “модуль поширення з керованим потоком”.

Генеративно-змагальні мережі складаються з двох нейронних мереж: генератора і дискримінатора, які змагаються одна з одною в процесі навчання. Генератор намагається “обдурити” дискримінатор, виробляючи дані, які дискримінатор помилково приймає за справжні. При цьому дискримінатор прагне стати більш точним у відмінності між реальними і згенерованими даними.

Вчені також використовували методи згладжування, щоб запобігти глюкам штучного інтелекту, і “перенаправлення високочастотних деталей” для обробки різкого зниження якості відео.

За словами дослідників, система здатна збільшити якість відео до восьми разів. І все це без неприродних кольорів, нерівних ліній та інших поширених проблем, що виникають під час обробки відео за допомогою штучного інтелекту.

Розробники визнають, що частина вихідного відео повністю синтезується VideoGigaGAN на основі оцінок системи. Наприклад, для досягнення високої чіткості до відео можуть бути додані пори на шкірі, зморшки навколо очей або навіть вії. Тобто ШІ “домальовує” необхідні елементи.

Поки незрозуміло, чи випустить Adobe цей додаток для загального використання.