16 мая 2015 в 15:00

Виртуальная реальность: видео 360 и бинауральный звук из песочницы

Мы написали интересный доклад по технологиям виртуальной реальности для конференции EVA Florence 2015 (Флоренция, Италия). Статья нигде не публиковалась и, поскольку тема интересная и не слишком освещенная на Geektimes, решили разместить её здесь. Приводим адаптированный русский вариант статьи, в случае необходимости, любые дополнения, ссылки, примечания добавим.


Видео 360 + бинауральный звук

Введение


По мере эволюции компьютерной игровой индустрии и технологий виртуального представления объектов (3D-моделирование, фотопанорамы) одновременно совершенствовались устройства для индивидуального и коллективного погружения в среды виртуальной реальности. Подобные устройства и системы, за счет эффекта присутствия, позволяют человеку оказаться внутри виртуального мира: компьютерной игры, виртуального музея, виртуальной экскурсии и т.д.

В 2013 году появился прототип шлема виртуальной реальности нового поколения – Oculus Rift (Рис. 1.) от компании Oculus http://www.oculus.com, собравший более $90 млн. на краудфандинговых площадках в США, а также от различных инвесторов. Отличительной особенностью шлема Oculus Rift является линзовый способ построения изображения – зритель, надевший шлем, смотрит на стерео-изображение не напрямую, а через специальные асферические линзы. С помощью линз удалось существенно расширить угол обзора, сделав его близким к биологическому зрению человека (110° против 45-50° в обычных очках), благодаря чему шлем обеспечивает необыкновенно глубокое погружение в виртуальную реальность. Данная особенность определила дальнейшую судьбу очков – проект стал одним из самых динамично развивающихся в индустрии, по всему миру стали создаваться экспериментальные приложения для Oculus Rift, а в 2014 году произошла одна из рекордных сделок в индустрии – Facebook осуществил покупку компании Oculus за $2 млрд.


Рис. 1. Шлем виртуальной реальности Oculus Rift DK2 и пользователь, 2014 г.

Конец 2014 года был ознаменован появлением целого ряда различных шлемов (или, точнее сказать, — гарнитур) виртуальной реальности, построенных по аналогичному принципу и предназначенных для использования вместе со смартфоном. В гонку по созданию таких продуктов включились крупные компании — Samsung (Samsung Gear VR), Google (Google Cardboard), HTC (HTC Vive), также возникло множество стартапов по изготовлению шлемов – Homido (Франция), Fibrum (Россия), ColorCross (Китай) и другие (Рис. 2.).

Принципиальным отличием этих гаджетов от Oculus Rift являлось то, что перечисленные шлемы использовали в качестве экрана смартфон, вставляющийся внутрь шлема. Таким образом, отпала необходимость в использовании компьютера и соединительных проводов для подключения Oculus Rift, а стоимость шлема упала до $30.


Рис. 2. Гарнитуры виртуальной реальности

В настоящий момент (май 2015 г.) гарнитуры виртуальной реальности поддерживаются больши'м количеством компьютерных игр (Half-Life 2, Team Fortress 2, Mirror’s Edge, War Thunder,EVE Valkyrie (ex. EVR) от CCP, DCS: World, Ил-2 Штурмовик «Битва за Сталинград», Euro Truck Simulator 2, Minecraft, Live For Speed) и несколькими игровыми движками (CryEngine, Unreal Engine (версии 3 и 4), Unity, Unigine, Source, CopperCube, полный список. Виртуальную реальность можно просматривать и без шлема — вращая смартфон, но при этом существенно уменьшается эффект присутствия.

Появился и активно распространяется новый формат развлечений — аттракцион «виртуальная реальность», где клиент за небольшую плату может оказаться в 3D-мире. Один из таких аттракционов был собран и в Центре дизайна и мультимедиа ИТМО и неизменно пользуется успехом у зрителей (Рис. 3.).


Рис. 3. Губернатор Санкт-Петербурга Г.С. Полтавченко знакомится с аттракционом «Виртуальная реальность» (Санкт-Петербург, Россия, осень 2014 г.)

Использование гарнитур виртуальной реальности в образовательных и научно-исследовательских целях позволяет представлять объекты культуры (архитектурные объекты или музейные экспонаты) с новой степенью детализации и возможностями для просмотра пользователем.

Использование технологии видео 360° для культуры и искусства


С появлением гарнитур виртуальной реальности стало особенно актуальным направление фото и видео панорам, а также использование технологии Видео 360° в различных сферах – от музеев и интерактивных видео-экскурсий до съемки музыкальных и театрализованных представлений. В частности, концерт, записанный в таком формате, производит неизгладимое впечатление – зритель, надев шлем виртуальной реальности, оказывается прямо на сцене среди любимых музыкантов или актеров.

Центр дизайна и мультимедиа ИТМО в рамках проекта Video360Production одним из первых в России начал эксперименты по разработке технологии Видео 360 для шлемов виртуальной реальности. Один из первых экспериментов, проведенных совместно с Центром 3D-технологий СПбГУТ – съемка спектакля «Выбор» (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.), адаптированная для воспроизведения в Oculus Rift DK1 (Рис. 4.).


Рис. 4. Спектакль «Выбор», в режиме стерео-пары (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.)

Особенностью данной экспериментальной съемки являлось то, что съемка была произведена на обычную 3D-камеру — при просмотре через шлем виртуальной реальности пользователь видел стерео-эффект (для каждого глаза создавалась своя картинка), однако позиционирование по положению головы отсутствовало.

Большим успехом в разработке технологии Видео 360 стала съемка концерта Пола Маккартни, проведенная американской компанией Jaunt в августе 2014 г.


Рис. 5. Концерт Пола Маккартни, в формате 3D видео 360° («Live and Let Die», live at Candlestick park, San Francisco, США, 14 авг. 2014 г.)

В продолжение экспериментов по съемке культурно-массовых мероприятий с возможностью просмотра в шлеме виртуальной реальности, сотрудниками Центра дизайна и мультимедиа ИТМО было разработано специализированное оборудование для записи видео 360° для различных сценариев – статические сцены (камера стоит неподвижно в одной точке), динамические сцены (камера движется по выбранной траектории, управляемая дистанционно), различные способы крепления (катер, квадракоптер, шлем и др.).

Устройства для съемки видео 360°


Создание контента в формате видео 360° к настоящему моменту не является тривиальной задачей, несмотря на то, что разработано специализированное оборудование (видео-камеры 360°) и программное обеспечение для последующей обработки материала.

Постепенное распространение технологии можно объяснить целым рядом сложностей: большой объем обрабатываемых материалов, частично ручной процесс обработки, дороговизна оборудования, и, самое главное, — отсутствие удобного средства просмотра. Действительно, до появления гарнитур виртуальной реальности единственным способом просмотра видео 360° был специализированный плеер, в котором пользователь имеет возможность крутить мышкой видео «вокруг себя».

С появлением гарнитур виртуальной реальности ситуация изменилась – пользователь оказывается «внутри» видео и ощущает практически полную степень погружения в виртуальное пространство. В большом количестве появились различные творческие группы и стартапы, реализующие собственные технологические решения для съемки видео 360°, отличающиеся заметным разнообразием и характеристиками (Рис. 6-7).


Рис. 6. Различные компоновки камер для съемки фото и видео 360°

Особенно необычно выглядят решения, позволяющие снимать видео 360° в 3D формате (для каждого глаза создается своя видео-сфера, затем они совмещаются в специализированном плеере для воспроизведения). 3D видео 360° дает зрителю ощущение пространства более сильное, чем в обычном «моно» варианте, однако требует существенно больше ресурсов – как для обработки материалов, так и для решения различных технических задач. В частности, отдельной является проблема верхних камер и их размещения (таким образом, чтобы при любом повороте головы наверх зритель видел правильную картинку) (Рис. 7).


Рис. 7. Различные компоновки камер для съемки фото и видео 360,
включая стерео-компоновку для 3D видео 360 (на примере камер 360 Heros)

Бинауральный звук


Особой задачей при создании контента для виртуальной реальности, будь то 3D-моделирование или «Видео 360°» является запись и воспроизведение объемного звука – ведь пользователь, находясь в виртуальной реальности, должен слышать разный звук в зависимости от положения головы!

В компьютерных игровых движках эта проблема решена с помощью специальных программных средств, задающих расположение источников звука в виртуальном пространстве. Однако с появлением формата «Видео 360°» и возможности записи в этом формате музыкальных концертов, возникла необходимость записывать звук предельно точно – так, как его слышит человек, стоящий в определенной точке.

Для этой цели исследователи используют т.н. бинауральный звук – он записывается на специальные микрофоны, по форме повторяющие ушную раковину человека.


Рис. 8. Устройства для записи бинаурального звука от компании 3Dio

Одна из самых известных работ, снятых при помощи технологии бинаурального звука – концерт группы Beck:


Рис. 9. Beck, «Hello again» («Sound and Vision», 2013 г.)


Рис. 10. Beck, «Hello again» («Sound and Vision», 2013 г.)

Хостинг видео 360°


В связи с быстрым распространением технологии актуальным является вопрос организации хостинга для файлов в формате «Видео 360°». Важной составляющей такого хостинга является возможность не только воспроизвести видео с возможностью вращения мышкой, но и адаптация для гарнитур виртуальной реальности, как стационарных (Oculus Rift), так и мобильных.

В данный момент, полноценную поддержку «Видео 360°» осуществляют всего несколько сервисов – французский Kolor(на момент написания статьи куплен американской компанией GoPro), также частичную поддержку Видео 360 в 2015 году сделал Youtube (есть возможность вращения мышкой, но нет адаптации для гарнитур виртуальной реальности).

Борисов Николай Валентинович
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ

Смолин Артем Александрович
Кафедра инженерной и компьютерной графики, Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ

Столяров Денис Андреевич
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра математической лингвистики, СПбГУ

Наши контакты:
Проект Video360Production.com
denis1900@mail.ru Столяров Денис
Денис Столяров @Denis_Stolyarov
карма
6,0
рейтинг 0,0
IT-специалист
Похожие публикации
Самое читаемое

Комментарии (14)

  • 0
    Спасибо, самому понадобилось бы потратить много времени на поиск, а тут всё сжато и в одном месте.
  • 0
    Интересно, каким софтом можно объединить видео с 6 камер. И как синхронно включить запись на всех камерах.
    • 0
      Про опенсорс не знаю, но вот вариант от Kolor.
    • 0
      Есть еще 360 Video-Stitch Studio, а также различные кастомные решения на базе PTGui
    • 0
      И как синхронно включить запись на всех камерах

      В случае более чем двух камер — вообще говоря, никак.
      В специализированных камерах 360 сделано на аппаратном уровне:

    • +1
      Раньше для синхронизации картинки и звука использовалась хлопушка, черно-белая табличка, которой всё время в кино перед камерой хлопают.
  • 0
    Youtube в клиенте для Android позволяет смотреть в разные стороны поворотом самого аппарата в нужном направлении.
    • 0
      Спасибо, не знал. Ждем полноценной поддержки со стерео-парой:)
      • 0
        Это в живую создает очень приятный эффект. Мне всегда было сложно смотреть такие видео. Пока мышкой повернешь сцену, уже все интересное закончилось. А следить за чем-то вообще не реально. А тут стал посреди комнаты и только успевай поворачиваться в нужную сторону и аппарат подымать или опускать. Совсем другое качество просмотра.

        ps. Мелкое неудобство — когда камера наклоняется. К примеру закреплена на крыле самолета, который закладывает вираж. Тут начинается разнобой с положением экрана и тем, что на нем происходит.
        • 0
          Я это также замечал — например, в Oculus Rift в программе «американские горки».
  • 0
    Ждём, когда в 3D 360 начнут снимать фильмы. Это, конечно, не самая простая задача, но должно быть весьма захватывающе. И со звуком там несколько проще будет: можно правильно разместить все источники звука на студии, не нужно списывать их с помощью вышеозначенных решений. Но, конечно, для всего этого сначала должен появиться качественный профессиональный софт.
  • 0
    про 3d 360 не понял есть ли уже доступные решения с поддержкой позиционирования головы, Oculus например? Риги для съемки увидел, а вот как собрать и на чем смотреть? Тема мне очень интересна, как с авторами статьи связаться?
    • 0
      Есть ПО для обработки видео 360, поддерживающее и 3D 360, в частности — уже упомянутый Kolor. Есть и другие решения, с разным количеством «сюрпризов».
      Смотреть в любом плеере, поддерживающем 3D 360 — Kolor Eyes, VRPlayer и др.
      По всем вопросам можете писать мне, denis1900@mail.ru
  • 0
    Если кому-то интересно, то есть проект отечественного шлема vrdevice.ru, vk.com/vrdevice

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.