Как стать автором
Обновить

Как Gcam создала режим HDR+ для камер смартфонов

Время на прочтение 3 мин
Количество просмотров 21K
image

Gcam разработала решение для камеры Google Pixel и ряда других продуктов холдинга Alphabet, так или иначе связанных с обработкой изображений. Компания появилась в 2011 году, когда Себастьян Трун, в то время глава Google X, искал камеру, которую можно было бы установить в Google Glass. В таких очках камера дает возможность делать фотографии «от первого лица» и делиться яркими моментами с окружающими без необходимости доставать фотоаппарат или смартфон.

Эта функция может быть полезной для любого пользователя, начиная от родителей с маленькими детьми до врачей, выполняющих операции. Однако чтобы люди захотели пользоваться Glass, возможности съемки у очков должны быть как минимум на уровне существующих флагманских смартфонов.

На первых этапах разработки Glass возникли проблемы с камерой. Она была слишком маленькой и ей не хватало света, поэтому фотографии в темноте или при высокой контрастности выходили низкого качества. Если сравнивать с теми же смартфонами, сенсор в камере оказался слишком маленьким, что еще сильнее снижало производительность в условиях слабой освещенности и динамического диапазона. Кроме того, очки обладали очень ограниченной вычислительной мощностью и батареей.

Поскольку очки должны получиться легкими и пригодными для постоянной носки, поиск более крупной камеры для решения этой проблемы — не выход. Поэтому команда начала искать другие способы. Тогда создатели задали себе вопрос: что если вместо того, чтобы пытаться решить проблему на аппаратном уровне, попробовать сделать это с помощью программных продуктов?

image

Компания привлекла к разработке Google Glass Марка Ливоя (Marc Levoy), преподавателя факультета информатики Стэнфордского университета, который по совместительству является экспертом в области вычислительной фотографии. Особенно его интересуют технологии захвата и обработки изображений на базе программного обеспечения.

В 2011 году Ливой создал команду в Google X, известную как Gcam. Ее задачей было улучшить фотографии на мобильных устройствах, применяя вычислительные техники фотографии. В поиске решения проблем, которые ставил проект Glass, команда Gcam исследовала метод под названием Image Fusion, который делает быструю серию фотографий, а затем объединяет их, чтобы создать более качественный снимок.Такая технология «вытягивала» детали на снимках с тусклым освещением. Да и в целом фотографии получались более яркими и резкими.

Image Fusion дебютировала в Glass в 2013 году, и вскоре стало ясно, что технологию можно применить к продуктам других линеек. По мере того, как люди стали чаще делать снимки, чтобы поделиться важными моментами с другими, программное обеспечение, на основе которых работали камеры, должно было обеспечить красивую картинку вне зависимости от освещения.

Следующая версия Image Fusion получила новое название HDR+, вышла за рамки проекта Glass и была запущена в приложении для камеры Android в Nexus 5, а затем и в Nexus 6.

Сегодня эта функция распространилась среди множества приложений и продуктов, а команда Gcam в 2015 году перешла в Google Research. Сейчас Gcam разрабатывает технологии для Android, YouTube, Google Photos и Jump VR. Некоторые решения команды включены в Lens Blur – приложение для камеры Google, а также в программное обеспечение, сшивающее видеоролики в панораму в Jump Virtual Reality.

Не так давно технология HDR+ по умолчанию вошла в качестве режима в смартфон Google Pixel. Команда DxOMark, составляющая один из наиболее объективных рейтингов камер, заявила, что камера Pixel оказалась «лучшей камерой для смартфона из когда-либо созданных».

В 2016 году, размышляя о дальнейшем развитии проекта, Марк Ливой сообщил: «Потребовалось пять лет, чтобы сделать все действительно правильно. Нам повезло, что Google X дал нашей команде направление для долгосрочного развития и независимость».

Что будет дальше с Gcam? Марк Ливой, начинавший свою карьеру с разработки мультипликационной анимационной системы, которую использовала компания Hanna-Barbera, в восторге от будущего команды. Одно из направлений, где она собирается реализоваться в дальнейшем – технология машинного обучения.

«Существует множество продуктов, которые фактически изменяют восприятие и ощущение изображения. Это могут быть даже такие простые на первый взгляд вещи вроде фильтра для регулировки баланса белого. Или те, которые могут что-то сделать с фоном — затемнить, осветлить или стилизовать его. Мы находимся в лучшем месте в мире с точки зрения разработки технологий в области машинного обучения, поэтому у нас есть реальная возможность объединить творческий мир с миром вычислительной фотографии», — отмечает Ливой.
Теги:
Хабы:
+10
Комментарии 15
Комментарии Комментарии 15

Публикации

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн