Исследователи Disney создают «волшебную скамью смешанной реальности»

Вы сидите перед экраном, глядя на изображение себя, как будто перед зеркалом. Затем крошечный слон садится в раму, садится рядом с вами - и предлагает вам золотой шар.

Это одна из демоверсий для Magic Bench Disney Research, новая игра на смешанной реальности, которая позволяет нескольким пользователям взаимодействовать с анимированными персонажами и другими элементами CGI вместе. В отличие от типичных реализаций дополненной реальности или VR, прототип не использует гарнитуры или карманные устройства.

«Это демонстрирует [взаимодействие человека и компьютера] в его простейшей форме: человек подходит к компьютеру, а компьютер передает человеку объект», - пишут исследователи в своей статье с описанием «Волшебной скамьи».

Люди, сидящие на Magic Bench, разработанные командой R & D Disney в Питтсбурге, видят зеркальное изображение на большом дисплее перед ними, создавая точку зрения третьего лица. Сцена реконструируется с помощью датчика глубины, позволяя участникам занять одно и то же фактическое цифровое 3D-пространство, как персонажи или объекты, созданные компьютером, вместо того, чтобы накладывать один видеопоток на другой.

Цель исследователей Mouse House состояла в том, чтобы создать «прогулку и играть». Стенд содержит тактические приводы, которые обеспечивают вибрации, которые позволяют пользователям ощущать присутствие символов и объектов CGI. Magic Bench также определяет местоположение и количество участников и может делать вывод, где они выглядят. Кроме того, различные образования людей, сидящих, создают разные типы переживаний.

«Наша мантра для этого проекта заключалась в том, чтобы услышать приближающийся персонаж, увидеть, как они входят в пространство, и почувствовать, что они сидят рядом с вами», - сказал Моше Малер, главный цифровой художник Disney Research, в видео о Magic Bench.

Чтобы взломать проблему «глубинных теней», которые происходят в областях, где датчик глубины не имеет соответствующей прямой видимости с камерой, система Magic Bench использует модифицированный алгоритм для создания 2D-фона. Трехмерные и 2D-реконструкции расположены в виртуальном пространстве и заполнены 3D-символами и эффектами таким образом, что результирующий рендеринг в реальном времени представляет собой составное изображение, способное взаимодействовать с виртуальной физикой, светом и тенями.

3D-реконструкция Magic Bench использует комбинацию датчиков глубины и цвета на встроенном устройстве обнаружения движения Microsoft Kinect. Вот техническое объяснение для тех, кто интересуется этим уровнем детализации: «Мы рисуем полигоны, используя каждую точку в облаке точек как вершину, создавая внешний вид сплошной сетки. Затем сетка выравнивается с каналом RGB-камеры сцены из того же Kinect. Это выравнивание дает цвет сетки и завершает 3D-реконструированную видеопотоку ».

«Волшебная скамья» - это работа команды ученых Disney Research. Помимо Малера он включает Кину Макинтош, Джона Марса, Джеймса Крахе, Джима Макканна, Александра Ривера, Джейка Марсико, Али Исрара и Шона Лоусона.

Исследователи проведут демо-версию Magic Bench и представят свою статью по проекту на компьютерной графике Siggraph 2017 и интерактивной технической конференции на следующей неделе в L.A.

YouTube - Magic Bench

Комментарии