Це AI нейронної мережі з Nvidia створює фотореалістичні підроблені зображення

З першого погляду, фото до вершини виглядає як звичайна фото звичайної вулиці, взяті або з кулака дефісу або з хтось досить дурний щоб тинятися у дорогу хапати малюнок такої мирської сцени.

Але подивіться трохи ближче. Зверніть увагу на те, як сигнал світла трохи деформується, або як деякі автомобілі здаються нечіткими? Тут щось не так. Це зовсім не фотографія. Це зображення, створене виключно А.І.

Комп'ютерні науковці з технологічної компанії Nvidia і Університету Каліфорнії, Берклі, написали дослідницьку роботу, яка доступна в препринті на arXiv, деталізуючи, як їм вдалося отримати нейронну мережу для створення реалістичних зображень вулиць і портретів людини. Вони навіть включали користувальницький інтерфейс, який дозволяє налаштовувати фотографії, однак додаючи додаткові листя або навіть змінюючи погоду.

"Ігри швидко зростають, тому що люди люблять взаємодіяти один з одним у віртуальних середовищах", - розповідає Мінг-Ю Лю, старший науковий співробітник Nvidia. Обернено електронною поштою. «Однак створення сучасних віртуальних світів є дорогим, оскільки вимагає від художників чітко моделювати та імітувати текстуру та освітлення для всього світу, який вони будують. За допомогою перекладу із зображенням на зображення ми можемо замість того, щоб створити віртуальні світи, обрати реальний світ ».

Нейронні мережі - це комп'ютери, що моделюються для роботи, подібної до людського мозку, шляхом отримання інформації, її застосування та вивчення результатів. У цьому дослідженні використовувалися спеціальні типи нейронних мереж, представлені Іаном Гудфеллоу в 2014 році, звані генеративними змагальними мережами - або GAN - які, як правило, складаються з двох мереж - генератора і дискримінатора.

Генератору дають фотографії і починають створювати синтетичні зображення, подібні до тих, які їм було дано. Потім він показує поєднання зображень, які він дав, і підробок з дискримінатором, чия робота полягає в тому, щоб розрізняти їх. Як цей процес продовжується, генератор стає краще при імітуванні оригінальних зображень, і дискримінатор стає краще, розповідаючи підробок окремо. Результати - деякі досить переконливі - та повністю fake - малюнки.

Дане дослідження базується на традиційній моделі GAN, додаючи розбиття мереж генератора і дискримінатора на декілька підмереж, що дозволяє виводити зображення з більш високою роздільною здатністю. Нейронні мережі також можуть брати в семантичну карту - або план, як повинна виглядати фотографія - і самостійно заповнювати текстури. Користувачі можуть навіть входити в план і змінювати речі, якщо вони хочуть додати будівлі замість дерев у перегляді вулиць або розширити очі в портреті.

У статті проведено порівняння його результатів з аналогічними експериментами, виконаними за допомогою цього методу, найбільш помітним з яких є pix2pix. Дослідження Nvidia і UC Berkeley здатне генерувати зображення з дрібними і точними деталями, як чіткі номерні знаки, а pix2pix - зображення, які майже нагадують картини аквареллю.

Незважаючи на те, що цей інструмент може бути використаний для отримання вільної карми reddit з декількома дивовижними фотографіями, автори бачать величезний потенціал у використанні цього підходу для створення реалістичної графіки з простою схемою.

Сотні годин кропіткої праці переходять у створення віртуальних світів для використання в Картах Google, фільмах і відеоіграх. Лю каже, що ця модель може служити способом безболісно отримати більшу частину проектування, а потім піти і підібрати деталі пізніше.

«Замість того, щоб відображати світ, явно моделюючи його, ми можемо побудувати світ неявно, використовуючи переклад зображення-зображення, щоб перевести між простою моделлю світу, яка не містить жодної текстури або освітлення, і фотореалістичним виходом. Такий потенціал має значно дешевше побудувати віртуальні світи », - говорить він Обернено.

Для наступного кроку в цьому дослідженні команда сподівається дослідити трансляцію відео на відео, яка використовувала б нейронні мережі для створення реалістичних відео. Мета, яку каже Луї, поставив під сумнів дослідників у цій галузі.

Тепер ви знаєте, як легко створювати фальшиві зображення. Не довіряйте всьому, що ви бачите на зображеннях Google.