човек

Kaiwen Guo et al./SIGGRAPH Азия 2019

Инженерите на Google се научиха да създават реалистичен модел на движещ се човек и да го вграждат във виртуално пространство, променяйки осветлението на модела. Те създадоха кабина с няколко десетки камери и стотици контролирани източници на осветление, вътре в които беше човек. Разработката ще бъде представена на конференцията SIGGRAPH Asia 2019 и статия за нея е публикувана на уебсайта на авторите.

Контекст

Технологии за улавяне на движение и създаване на виртуални аватари се използват в различни области в продължение на много години. Някои от тях се основават на улавяне на движенията на лицето и други части на тялото, чиито записи се използват за анимиране на друг герой. В случаите, когато е важно да се поддържа външният вид на човек, се използват системи с няколко камери.

Някои разработчици в тази област са успели да получат доста висококачествени резултати. Например, Intel използва система на някои спортни стадиони, която му позволява да показва повторения от всякакъв ъгъл. Такива системи обаче не могат да събират данни за оптичните свойства на обектите, а моделът, получен с тяхна помощ, не може реално да бъде прехвърлен в среда с друго осветление.

Новостта на Google

Група инженери на Google, водени от Пол Дебевец и Шахрам Изади, създадоха стойка и софтуер, който ви позволява да създадете модел, който реално отразява както формата, така и оптичните свойства на човек в движение, както и да прехвърлите този модел в друга среда и регулирайте осветлението според него.

Стойката е с почти сферичен дизайн с отвор, през който влиза човек. В стелажите, съставляващи сферата, са инсталирани 331 осветителни тела, всеки състоящ се от отделни светодиоди с определен цвят, 42 цветни камери, както и 16 блока за улавяне на дълбочина, всеки състоящ се от цветен и две инфрачервени камери и един инфрачервен лазер проектор. Тъй като системата създава голямо количество данни, обработката им се извършва на сървъри в облака.

По време на работа лазерът проектира инфрачервен модел, състоящ се от фини линии. Благодарение на това системата може да възстанови формата на човек с висока точност, като сравнява получените инфрачервени данни с оригиналния шаблон.

Схема на системата.
Kaiwen Guo et al./SIGGRAPH Азия 2019

Светодиодите проектират светлина с желаното пространствено разпределение и бързо (60 пъти в секунда) се редуват два противоположни цветови градиента. Това ви позволява да създадете не само карта на разпределението на цветовете по тялото и облеклото, но и карта за отражение, която ви позволява програмно да промените осветлението на човек, реалистично го интегрирайки в нова среда.

Също така приложение

Авторите сравняват тяхното развитие с предишни подобни системи. Новата система ви позволява да получите модел с по-висока разделителна способност, както и по-малко артефакти. Също така работи много по-добре с бързо движещи се обекти, например хвърлена топка.

Разработчиците създадоха и демо приложение, което работи в режим на добавена реалност и реалистично интегрира модела на човек и го показва на предната страна на телефона. Работи на базата на предишна разработка, която определя характеристиките на осветление и отражение на обектите според данните на камерата.

По-рано тази година групата на Пол Девебек представи друга разработка на хардуер и софтуер, която позволява необичайни визуални ефекти. Те сглобиха прототип на фотоапарат със светлинно поле от 16 GoPro и използваха алгоритми за разделяне на сцената на отделни снимки, подредени, когато се отдалечаваха от камерата.

Виктор Роман
Тази новина първоначално беше публикувана през N + 1, наука, която добавя.