Усередині Pinscreen's Secretive Augmented Reality та CGI

Розширена реальність і обмін обличчям здаються гарячими кандидатами для наступних мобільних додатків; просто подивіться на придбання Facebook у MSQRD або придбання Snapchat Looksery. Але один стартап AR називається Pinscreen, в даний час підтримується в розмірі $ 1,8 млн. Від Lux Capital і Фонду Colopl VR, прагне робити речі по-іншому в цій області. Обернено Виступав виключно з засновником Pinscreen Хао Лі про те, що може бути попереду для цієї секретної компанії.

Ви, можливо, не чули про Хао Лі, але ви, мабуть, бачили дослідження цього асистента професора США в дії в кількох блокбастерах. Працюючи над студією візуальних ефектів Industrial Light & Magic, Лі допомогла розробити деякі інструменти, які дозволяли здійснювати захоплення в реальному часі. Ідея полягала в тому, щоб актор міг сидіти перед комп'ютером з веб-камерою, розгортати сцену, а потім цю роботу перекласти - в реальному часі - на CG.

Лі провів великі дослідження в інших областях, включаючи розробку 3D-моделей реальних людей у ​​реальному часі, а також захоплення важливих частин їх подоби, особливо обличчя та волосся. Зовсім недавно, Лі показав дослідження, які він та інші провели в захопленні вистави від людини з однією камерою, і переклав це на цифровий характер.

По-перше, це не звучить так новим. У розробці вже є ряд рішень для відстеження облич, як для мобільних додатків, так і для набагато складніших систем, таких як Faceshift (придбаний Apple у 2015 році). Але багато хто з них покладаються на датчики глибини, яких технологія Лі не вимагає. Такий підхід, за його словами, дуже відрізняється.

"Якщо у вас є датчик глибини, все, що вам потрібно, це оптимізувати параметри моделі обличчя, щоб модель підходила до 3D-входу якомога ближче", пояснює Лі. «Але у випадку чистого RGB-входу весь світ проектується на двовимірне зображення без відомих параметрів камери, таких як фокусні відстані. Отже, на цьому проектованому зображенні має бути виведено чітку 3D модель обличчя, а також можливість обробляти широкий спектр умов освітлення, а також вигляд різних предметів.

Звідси важливість досліджень Лі в 3D-аватарах. Під час відображення обличчя людини багато програм зіставлення мають проблеми з візуальними перешкодами, як волосся та окуляри. Щоб уникнути цієї проблеми, Pinscreen “побудував глибоку згорткову нейронну мережу, яка може дізнатися, як сегментувати область обличчя у повністю незміщеному зображенні”.

Отже, що таке Pinscreen за допомогою цієї божевільної передової технології?

"Ми будемо новим типом соціальних медіа / комунікаційних платформ з деякими цікавими можливостями AR", говорить Лі. "Це не буде додаток, як об'єктиви Snapchat або MSQRD, який для більшості людей цікавий лише на кілька хвилин".

Отже, поки що не набагато більше, ніж модні слова. Але, подивившись глибше, його попередня робота припускає, що вони сподіваються розвивати здатність відстежувати чиєсь обличчя, незважаючи на будь-яке волосся, окуляри або інші предмети, які перешкоджають перегляду одиночної камери. Додайте в якусь розширену реальність, а небо - це обмеження для фільмів, соціальних медіа та ігор.

Це звучить досить революційно, але важливо відзначити, що Лі і його команда не єдині дослідники в цій області. Disney нещодавно представив свою зйомку в реальному часі, а також деякі інші дослідники з інструментом Face2Face. Theres також aforementioned Faceshift, разом з Facebook та Snapchat, хто також почав демонструючи їхні товари.

Отже, чим відрізняється технологія Pinscreen? Лі вважає, що рішення компанії "набагато надійніше і може зробити більш точні 3D-моделі, оскільки ми явно обробляємо оклюзії".

«Наше найважливіше нововведення - це технологія, яка дозволяє нам створювати повну модель 3D голови, включаючи волосся з будь-якого зображення автоматично», - стверджує він. «Цей тип завдань традиційно вимагає кваліфікованого моделювача КР і підрозділів для виробництва, але ми можемо генерувати це повністю автоматично. Останні роботи, представлені на конференції SIGGRAPH (провідна конференція з комп'ютерної графіки та інтерактивних технологій), також вимагають введення численних вхідних зображень - ми зосереджуємося на вирішенні з мінімальною потребою вводу, єдиним 2D-зображенням.

Звичайно, поки люди не зможуть побачити і використовувати будь-яке додаток з Pinscreen, журі залишиться поза його можливостями. Різниця тут, однак, полягає в тому, що Лі, безумовно, має історичну історію досліджень та інновацій, особливо в розробці цифрових аватарів.

Лі явно впевнений у можливостях Пінскріна в просторі соціальних медіа. "Оскільки наші технології будуть демократизувати покоління 3D аватарів, вони матимуть очевидні застосування в іграх, додатках VR / AR для захоплюючого спілкування або агентів AI", - каже він, - але я думаю, що ми самі створимо найкрутішу програму, яка є соціальна медіальна платформа, яку ми розробляємо.

"Найголовніше," додає він, "ми хочемо створити щось, що дозволяє людям створювати дійсно цікавий контент без потреби в сьогоднішньому дорогим конвеєрі VFX і може використовувати дуже цікаве AR-вміст для з'єднання один з одним".

Звучить так, ніби Pinscreen буде включати спектр технологій, над якими працювали Лі і його команда. Але, каже він, це лише частина плану. "Демо технологій є насправді лише особливістю того, що ми плануємо використовувати", - відзначає він. «Pinscreen буде чимось набагато більшим, і технологія стане цікавою функцією на початку. Ми також будемо відрізнятися від інших платформ соціальних медіа ».

На даний момент Pinscreen все ще трохи таємничий, і, схоже, нам доведеться чекати, щоб побачити, що вони мають у магазині.