Nvidia показала нейромережу GauGAN, яка перетворить малюнок рівня Paint в реалістичне зображення

У ході заходу GPU Technology Conference (GTC 2019) компанія Nvidia показала вражаючу розробку, а саме нейромережу GauGAN, названу на честь художника Поля Гогена.

Дана розробка дасть змогу всім бажаючим перетворити схематичні зображення, подібні тим, що малюють діти в Paint, реалістичні зображення, які місцями навіть можна назвати дуже реалістичними. Джерело вже встигло охрестити розробку “MS Paint покоління штучного інтелекту”.

GauGAN використовує навчаєму нейромережу, яка дозволяє буквально за мить перетворити умовний ескіз із заданими характеристиками в красиве зображення. Для навчання Nvidia використовувала більше мільйона фотографій з Flickr. Навіть на ранній стадії все виглядає дуже вражаюче, як показано в наступному ролику.

У редакторі є базові інструменти, на зразок ручки, олівця і заливки. Досить намалювати замкнуту лінію і надати їй властивість хмари, після чого воно не просто з’явиться на небі, а буде відображатися в озері або морі. Все прораховується і коригується з урахуванням реалістичних відображень. Морський пейзаж з гарними каменями, водоспад, поле з квітами — все можна «намалювати» за лічені секунди, а потім замінити траву на сніг, після чого GauGAN сам замінить небо на зимовий, а також прибере листя з дерев. Причому розробники стверджують, що система випадкових чисел гарантує різні результати навіть для ескізів, дуже схожих один на одного.

Поки що GauGAN працює тільки з природою, але нейромережу цілком можна навчити для того, щоб використовувати її при проектуванні будівель, розробці самокерованих машин і в інших областях. Nvidia вважає, що GauGAN дозволить архітекторам, дизайнерам і розробникам ігор прискорити процес створення моделей і їх редагування.

У демо-версії кордону між об’єктами не ідеальні, але розробники обіцяють поліпшити цей момент.