Ученые из Института Фраунгофера Телекоммуникаций, Института Герц Генриха, HHI в Берлине разработали метод, которым реалистическое изображение человека может быть передано в виртуальном мире; и точно так же, как в научно-фантастических фильмах, изображение кажется в натуральную величину и трехмерным. Изображение может быть рассмотрено от различных направлений, и зритель может даже идти вокруг этого – точно так же, как в фильме.
До сих пор это не было возможно; у даже виртуальной реальности (VR) все еще есть свои пределы. Люди могут быть представлены искусственными трехмерными моделями (так называемые аватары), который может быть замечен, когда зритель надевает защитные очки данных о СТАБИЛОВОЛЬТЕ.
Тем не менее, у этих искусственных чисел нет как живого появления или естественного движения. Другой выбор состоит в том, чтобы играть видео изображение человека в лобном представлении в защитных очках данных о СТАБИЛОВОЛЬТЕ. Однако зритель не может идти вокруг изображения. В результате целая сцена выглядит искусственной, когда каждый двигается через виртуальный мир.
Человек всегда поворачивает свой двумерный фронт к зрителю.20 стереофотоаппаратовНапротив, исследователи HHI усовершенствовали трехмерное впечатление. Чтобы сделать так, они разработали систему камеры, это снимает человека.
Ядро этой системы – стереофотоаппарат: Так же, как люди делают их двумя глазами, камера делает запись человека с двумя линзами. Это стереоскопическое видение приводит к расстояниям, оцениваемым хорошо, потому что оба глаза смотрят на объект от немного отличающегося угла. Результат – трехмерное впечатление. Запись человека подробно от всех направлений берет больше чем одну камеру. «Мы в настоящее время используем больше чем 20 стереофотоаппаратов, чтобы нанести на карту человека», говорит Оливер Шрир, Глава исследовательской группы «Immersive Media & Communication» в HHI.
Каждая камера только захватывает часть человека. Проблема состоит в том, чтобы слить отдельные изображения камеры вместе так, чтобы была произведена реалистическая общая картина.
Система включает больше, чем просто технология камеры. Исследователи разработали алгоритмы, которые могут быстро извлечь информацию о глубине из стереоскопических изображений камеры. Это необходимо, чтобы вычислить 3D форму захваченного человека. Компьютер вычисляет виртуальную модель человека, который тогда передан в виртуальную сцену.
Камеры чувствуют поверхностную форму со многими деталями. Таким образом даже маленькие морщины, например, на одежде человека, можно показать. У модели есть естественное и реалистическое появление.«В развитии этих алгоритмов специальную заботу соблюдали, чтобы гарантировать, чтобы они работали эффективно и быстро, таким образом, движения партнеров по диалогу могут очень быстро быть преобразованы в динамическую модель», говорит Шрир, так как это – единственный способ, которым движения будут выглядеть естественными.
Изображения от единственной пары камеры могут быть обработаны в режиме реального времени.Показ каждого жеста
Плавление 3D информации от различных изображений камеры занимает несколько секунд. Иллюзия была уже усовершенствована, все же. Система передает трехмерную динамическую модель человека быстро в виртуальной реальности.
Человек может двинуться свободно в специальную область захвата. Виртуальное изображение изображает каждый жест и движение реалистично. «Наша цель состоит в том, что в будущем реалистическая копия изображения человека в состоянии непосредственно взаимодействовать с виртуальным миром – например, позволить ему захватить виртуальные объекты», говорит Шрир.В будущем новая система камеры запланирована, чтобы использоваться для других прикладных областей также. Например, исследователи работают над виртуальным видео применением конференц-связи.
Это могло также использоваться для приложений развлекательно-информационной передачи. Вместо пассивного, лобного опыта просмотра телезритель мог быть непосредственно вовлечен в сцену фильма посредством защитных очков СТАБИЛОВОЛЬТА. Зритель не только видел бы трехмерное изображение сцены по телевидению, но мог фактически идти вокруг внутренней части он, и, например быть частью приключений его научно-фантастических героев.
Альтернатива отслеживанию движения«Мы можем также предположить устанавливать систему камеры в различных местоположениях в небольших студиях», говорит Шрир. «Кинопродюсеры могли использовать его, чтобы передать движение актеров в сцены более легко чем когда-либо прежде». Это было очень дорогостоящим до сих пор.
В целом движения актера зарегистрированы, используя метод отслеживания движения. Как часть этого процесса, лицо и тело актера отмечены маленькими точками. Компьютер отслеживает движение пунктов и передает его машинно-генерируемому искусственному изображению актера – например, звезда действия, спрыгивающая с небоскреба в небоскреб. Однако с отдельными пунктами маркера, методы отслеживания движения могут только обнаружить движения и, особенно, прекрасные выражения лица очень неточно или с очень высоким техническим усилием.
Это означает большую почтовую обработку для компьютерных графиков, пока сцена не выглядит более реалистичной. «С нашей системой камеры, однако, наша цель состоит в том, чтобы сломаться и представлять человека, и это – движение в будущем с намного большим количеством деталей», говорит Шрир.Исследователи в настоящее время улучшают свою систему камеры и сопровождающее аналитическое программное обеспечение.
Будут ли они делать оба из них доступными как обслуживание или лицензировать их для производственных компаний, еще не известен.