Как программист из Google научил Nexus 6P снимать в полной темноте

Несмотря на то, что качество мобильной фотографии в ближайшее время даже близко не подойдет к уровню зеркальных и беззеркальных систем, потенциал смартфонов в плане фотографий раскрыт не до конца. Это доказал программист из Google Флориан Кайнц, сотворив потрясающие ночные кадры на Nexus 6P.

Как заставить Nexus 6P фотографировать в темноте

Однажды инженер-программист из команды Google Daydream Флориан Кайнц взял свою большую камеру Canon 1DX, дорогущий объектив Zeiss Otus 28mm f/1.4 ZE и забрался на вершину холма Марин-Хэдлендс, к северу от моста «Золотые Ворота» в Сан-Франциско. Флориан хотел сделать ночной пейзаж Сан-Франциско. Вот, что у него получилось:

Позже он показал эту фотографию команде программистов Gcam, которая занимается разработкой алгоритмов для съемки на мобильные устройства. Один из членов команды предложил Флориану повторить этот снимок, но уже на смартфоне. Задача, казалось бы невыполнимая, но Флориан принял вызов. Он решил написать приложение для Android, которое позволило бы ему фотографировать при полной темноте. Отправной точкой в его работе стало приложение SeeInTheDark Марка Левоя, которое позволяло делать несколько снимков с разной экспозицией и итоговым склеиванием всех кадров в одну фотографию. Минус этой технологии в избыточном шуме и небольшом размере снимков. Однако именно приложение SeeInTheDark натолкнуло Флориана на мысль, что несколько десятков кадров с короткой выдержкой могут стать ключом к разрешению его задачи.

Что такое HDR+?

Флориан пришел к мысли, что доработав технологию HDR+ в смартфонах Pixel и Nexus 6P он сможет добиться необходимых ему результатов. Технология HDR+ позволяет смартфону в условиях недостаточного освещения получать очень качественные фотографии. Система вместо того, чтобы увеличивать выдержку и пытаться получить больше света, что неминуемо приводит к смазыванию кадра, делает серию снимков (до 10) с очень короткой выдержкой. Затем все кадры склеиваются, анализируются, обрабатываются и получаются отличные фотографии сделанные в темное время суток. Посмотрите на этот снимок сделанный нами в Лос-Анджелесе ночью на Nexus 6P с применением технологии HDR+:

Снимок хоть и не идеальный, но позволил в темное время суток добиться вполне презентабельного качества. Но HDR+ не безграничен и в полной темноте или при отсутствии каких-либо источников света фотографии будут представлять из себя цифровой шум в духе «50 оттенков серого». Камерам просто недостаточно света для получения информации. Флориан понял, что максимальная серия в 10 кадров, на которую способен HDR+ просто недостаточна. Нужно больше кадров за короткий промежуток времени. И он написал свое приложение, которое способно снимать, а затем склеивать до 64 кадров. На выходе получился супер HDR режим. Правда минусом этого режима стала невозможность фотографировать с рук. Стабилизация просто не в состоянии компенсировать дрожь рук при создании 64 кадров. Для получения приемлемого результата понадобился штатив, но это неизбежное условие, даже при фотографировании на профессиональные камеры.

64 кадра для одной фотографии

В итоге Флориан написал простое Android приложение, способное снимать с ручными настройками экспозиции, фокуса и ISO, а также возможностью сохранять RAW файлы. Для того, чтобы проверить возможности смартфона и приложения, он сделал серию снимков маяка Point Reyes недалеко от Сан-Франциско на Nexus 6P. Приложение сделало 32 кадра при ISO 1600 и выдержке в 4 секунды. Все кадры вполне предсказуемо получились зернистыми, с большим количеством цифрового шума. Но обработав их и склеив вместе он получил изображение отличного качества. Резкое, без шумов и правильно экспонированное.

Удовлетворившись фотографией маяка, Флориан решил попробовать сделать снимок ясного звездного неба. Сложность в том, что Земля движется и при долгой выдержке звезды неминуемо смазываются. В случае Флориана выдержка была короткой, но серия снимков требовала много времени, а значит все равно фиксировала движение. Поэтому Флориан собрал две композиции. В первой, он склеил все кадры и получил резкое и четкое изображение дерева и поля, но смазанные звезды:

Во второй композиции он подгонял несколько десятков снимков под звезды, сделав их статичными, но при этом дерево и земля получились размытыми:

Оставалось только объединить два этих снимка и вот итоге получилось более чем хорошо:

Проведя несколько подобных экспериментов в различных локациях и убедившись, что его приложение и постобработка позволяют добиться фантастических результатов, Флориан сделал главную фотографию, из-за которой он и начал работу над своим приложением. Он выбрал лунную ночь, взял Nexus 6P и отправился на туже самую точку холма Марин-Хэдлендс. И вот, что у него получилось:

Визуально результат вышел не хуже чем у профессиональной камеры Canon 1DX. По крайней мере Флориан смог добиться того эффекта, на который надеялся. Если сравнивать фотографии с Nexus 6P и камеры Canon 1DX в лоб, то камера разумеется обойдет смартфон по всем параметрам. Но то, что смартфон в принципе способен создавать подобные фотографии потрясает воображение. Разумеется для подобных результатов потребуется умение, некоторое оборудование и значительная постобработка. Но этот эксперимент говорит о том, что приложение для камеры смартфона можно научить делать снимки даже в полной темноте. Постобработка, которую производил Флориан, может сделать в автоматическом режиме и сам смартфон без участия человека, но для этого нужны правильные алгоритмы. А для их разработки и понадобится опыт Флориана Майнца. Полный текст его статьи можно найти здесь.