В этом посте будут описаны некоторые из решений, задействованных в воссоздании оттенков на фотографиях, то есть степени яркости или тёмности каждой части фото.

Мы привыкли считать, что фотографии просто объективно фиксируют освещение и отображают его, однако это не так. Оттенок фотографии отражает множество решений, сделанных фотографом и производителем камеры. Сегодня фотографии, снимаемыми нашими мобильными телефонами, становятся всё лучше и лучше, реализуя всё более сложные (но сокрытые от нас) эстетические решения.

Эта статья, наряду с моим предыдущим постом о перспективе, является частью более обширной темы зависимости картин и фотографий от художественных и технических решений. Фотографии — это не объективная фиксация реальности, как и картины — не точные отображения воспринимаемого художником. Подробнее я расскажу об этом в своём следующем посте.

Слишком большое или слишком малое количество света

Предположим, вы сидите в тёмной комнате с открытым окном, за которым солнечный день. Если бы вы использовали измеритель освещённости для замера солнечного света, то датчик зафиксировал бы в десятки тысяч раз больше энергии, поступающей от солнца, чем от света, отражаемого в тенях. Однако, в отличие от приборов, живые наблюдатели обычно не воспринимают солнечный свет как в десятки тысяч раз более яркий.

Например, вот две фотографии, сделанные плёночной камерой внутри Мемориальной церкви Стэнфорда в солнечный день:

 

Фотографии Пола Дебевека, ноябрь 1996 года

Чтобы сделать правый снимок, фотограф держал затвор открытым в более чем пятьсот раз дольше, чем для левого снимка. То есть на плёнку правого кадра попало в пятьсот раз больше света. Тем не менее, на нём мы не видим никаких деталей витража. Так получилось потому, что падающий через окна свет был приблизительно в 24 тысяч раз ярче, чем свет, отражающийся от других поверхностей. Плёнка камеры не может фиксировать такой широкий диапазон яркостей света, поэтому недоэкспонированные области плёнки стали чёрными, а переэкспонированные — белыми.

Обычно мы не воспринимаем мир таким образом. Наши глаза адаптируются к большим диапазонам солнечного света при помощи различных механизмов, в том числе расширением зрачков в темноте, а также сложного процесса обработки изображения, происходящего в нашем мозге (такой процесс называется адаптацией к контрасту).

Работая с кистями для краски или цифровыми дисплеями, мы не можем воссоздать широчайший диапазон яркостей, воспринимаемый в реальном мире. Это значит, что художники и фотографы обязаны выбирать, как запечатлеть сцены с экстремальными условиями освещения. Искусство и фотография создают убедительные иллюзии подобного восприятия, но при этом не просто фиксируют то, что видят авторы.

Рисуя темноту

Как с этой проблемой справлялись художники? Вот несколько примеров.

Кто-то может подумать, что для передачи ночной сцены достаточно все пиксели сделать темнее. Однако в темноте наше зрение адаптируется, и мы воспринимаем темноту как контраст между светом и тьмой. Художники часто подчёркивают этот контраст, не делая самые яркие части картины темнее:


«Иоанн Креститель (Иоанн в пустыне)» Караваджо, прибл. 1604 год

Объект здесь не освещён целиком, а как будто подсвечен ночью неизвестным прожектором (с религиозными коннотациями). Освещённые области чётко видны, тёмные области почти чёрные, и граница между светом и тенями чётко прочерчена.

В дальнейшем художники делали упор на научном, а не религиозном смысле освещения, делая источник света очевидным в сцене (хоть и сокрытым):


«Философ, объясняющий модель Солнечной системы» Джозефа Райта, 1766 год

Расположение освещения в этих примерах различается, отражая религиозность одного и научность другого, однако ни на одном из них источник света не виден. Источник света должен был бы оказаться в тысячи раз ярче, чем всё остальное в сцене.

В процессе движения изобразительного искусства в сторону импрессионизма художники начали отображать физиологический опыт зрения. В темноте наше зрение в основном сине-зелёное. Уистлер передавал этот опыт во многих своих ноктюрнах:


«Ноктюрн в голубом и золотом. Мост Баттерси» Джеймса Уистлера, 1875 год

Подобные оттенки голубого встречаются, например, на «Звёздной ночи» и «Звёздной ночи над Роной» Ван Гога. Разумеется, многие художники, запечатлевающие ночные сцены, не добавляют на свои картины этот голубоватый оттенок; он отражает лишь одно из возможных художественных решений.

Плёночная фотография

В течение первых 150 лет фотографии одной из задач фотографа был контроль за тем, сколько света попадёт на плёнку. Фотографы настраивали выдержку, диафрагму и скорость затвора. Если они справлялись с этими операциями плохо, то фото оказывалось недоэкспонированным или переэкспонированным, как показанные выше фотографии церкви.

Самые лучшие фотографии часто становились результатом кропотливых улучшений в фотолаборатории, где фотографы тщательно добавляли больше или меньше света в разные области. Вот профессиональная фотография:


Джеймс Дин, фотография Денниса Стока, 1955 год

а вот исходник фотографии с примечаниями фотографа о ретушировании:


Фотограф активно настраивал свет и темноту, чтобы выделить объект, обеспечить гораздо более сильное ощущение контраста и усилить детали фотографии. Такие изображения содержат в себе многие часы работы в фотолаборатории, где фотограф тщательно экспонировал в большей и меньшей степени разные части негатива. Такой процесс называется dodging and burning.

Мастером подобных манипуляций считается Энсел Адамс:


«Очищающий шторм» Энсела Адамса, 1944 год

Обратите внимание на сильные вариации света и темноты, богатые детали во всей фотографии.

Плёночная фотография потребительского уровня

С другой стороны, среднестатистический любитель фотографии не будет заниматься всей этой редактурой в фотолаборатории. Для большинства людей достаточно выбрать параметры выдержки, которые в сочетании с выбранной плёнкой определяют получаемые цвета и оттенки.

Это значит, что большинство вариантов выбора зависело от решений, принятых производителями плёнки и камеры.

Мой отец, в 1970-х работавший в Kodak, сказал мне, что инженеры Kodak совершенствовали свои формулы и процессы при помощи A/B-тестирования. Они фотографировали профессиональных моделей на открытом воздухе разными вариантами плёнок, а потом спрашивали добровольцев, какие фото им нравятся больше. Добровольцам нравились фотографии, где кожа выглядит розовее, чем в реальной жизни, поэтому именно такой эффект долгое время давала плёнка Kodak. Это эстетическое решение было «встроено» в плёнку, на которую делали фотографии миллионы людей.


Карточка для калибровки цветов Kodak, 1974 год

Модели выбирались, потому что они выглядели как «хорошие, отчётливо американские молодые люди». Все они были белыми. Поэтому много лет плёнка Kodak плохо передавала тёмную кожу. Поэтому эта, казалось бы, нейтральная технология кодировала в себе расизм.

Kodak потребовалось несколько десятков лет, чтобы добавить другие оттенки кожи. Со временем Kodak создала разные процессы создания плёнки для разных регионов мира на основании исследований региональных предпочтений в цветах плёнки.

День вместо ночи

При съёмке фильмов и сериалов часто используется процесс «Day for Night» для имитации ночи. Так как съёмки ночью — это дорогой процесс, съёмочные группы часто снимали днём, но использовали разные техники, чтобы казалось, что плёнку снимали ночью, например, затемнение изображения, увеличение относительной яркости прожекторов и добавление голубого оттенка.

Вот фотография кофе на моём столе на момент написания статьи:


Если я затеню фото, оно будет выглядеть просто как тёмное фото:


Но после применения очень простых техник «day for night» оно выглядит так:


Я сделал всё быстро и небрежно: просто затемнил тени и придал фотографии немного синеватый оттенок при помощи очень простых операций обработки изображений. Теперь фото гораздо больше походит на ночную фотографию с ярким прожектором, и для внесения таких изменений мне потребовалось всего несколько минут. Приложив больше усилий (и сфотографировав сцену с другим освещением), можно получить гораздо более убедительное «ночное» фото.

Компьютерное улучшение изображений

В начале 2000-х исследователи создали новую область знаний под названием «вычислительная фотография», изучающую способы использования вычислений для замены или совершенствования традиционных техник фотографии.

Важным примером подобного является HDR-фотография. В статье 1997 года Пол Дебевек и Джитендра Малик указывают на описанную выше проблему освещённости в помещениях и показывают, что её можно решить цифровыми техниками, сочетающими информацию из нескольких фотографий с разной выдержкой:


которую вычислительным образом можно скомбинировать в единое HDR-изображение и отобразить:


Такие техники стали называть фотографией с High-Dynamic Range. (Подобные идеи предлагались в более ранних менее известных статьях.)

После комбинирования выдержек в этом процессе используется второй этап. Если самые яркие области в 20 тысяч раз ярче тёмных, то как отображать эти изображения на экранах, яркость которых меняется лишь на несколько сотен градусов? Техники для реализации этого называются тональной коррекцией. Вслед за публикацией упомянутой выше статьи появилось множество методов HDR-съёмки и тональной коррекции с различными способами сжатия значений освещения в формат, который можно отобразить на экране или распечатать на бумаге.

Многие техники HDR основаны на улучшении краёв изображений, поэтому каждая часть изображения содержит детали, как на фотографиях Энсела Адамса. Подобное улучшение краёв можно применять и к обычному фото, и само слово «HDR» стало названием определённого визуального стиля с искусственно улучшенными деталями и контрастом между светом и темнотой:


Если вы когда-нибудь рассматривали фотографии в объявлениях о продаже домов, то могли заметить этот «стиль HDR», который вместе с очень широкоугольной перспективой делает дом более просторным, тёплым и залитым светом, чем есть на самом деле.

Подобные идеи привели к созданию инструментов для художественного улучшения фотографий. В статье 2006 года Сунмина Бае, Силвейна Пари и Фредо Дурана продемонстрирован метод переноса стиля, адаптирующий статистику градиентов с примера фотографии на целевой снимок. Вот обычная фотография и результат применения этого метода с использованием стиля показанного выше фото Энсела Адамса:

 

Исходное фото и результат переноса стиля из работы Бае и соавторов

Почему это выглядит реальным?

Почему есть так много способов отображения фотографий, которые выглядят реальными? Очень сложно рисовать так, чтобы это выглядело реальным, и создавать спецэффекты в кино, чтобы они выглядели реальными. Тем не менее, мы можем выполнять всевозможные манипуляции с фото, которые выглядят реалистично.

И в самом деле, когда были разработаны первые алгоритмы тональной коррекции, я думал, что то, какие из них сработают, а какие нет, зависит от магии. Многие исследователи, работавшие над тональной коррекцией, сосредоточились на моделях восприятия и физиологии, в том числе и на том, что человеческое зрение более чувствительно к краям, чем к абсолютному освещению. Но мне не кажется, что эти модели объясняют причины успешности этих методов, и по тем же причинам мне не кажется, что чувствительность к краям объясняет карандашный рисунок, особенно потому, что появились более простые алгоритмы, которые работают так же или даже лучше.

Вот простое объяснение: при редактировании изображения новая картинка выглядит реально, если соответствует убедительной сцене из реального мира. Например, вот что произойдёт, если я увеличу яркость этого кофе на 50%:


Для этого мне потребовалось меньше минуты, я применил самые простые операции обработки изображения, а именно увеличил яркость некоторых пикселей в Photoshop. Мне кажется, поначалу изменения незаметны; это похоже на реальное фото более яркой чашки с кофе. Можно понять, что оно поддельное, присмотревшись внимательнее, но в основном из-за небрежного матирования.

Почему фото выглядит реальным? По большей мере потому, что модифицированное изображение могло быть реальной фотографией. Возможно, чашка светлее, или на ней больше света из-за отражения. Как бы то ни было, наши визуальные системы интерпретируют модифицированное изображение, как будто оно реальное, а не пытаются разглядеть подделку. И в самом деле, живые наблюдатели не очень чувствительны к определённым видам нереалистичного освещения, что часто становится подарком для фальсификаторов.

Что же происходит в тональной коррекции? Когда мы измеряем свет с динамическим диапазоном 10000:1, например, в сцене и с солнечным светом, и тенями внутри помещения, а затем преобразуем в изображение с динамическим диапазоном 250:1, то система человеческого зрения не воспринимает это как яркий солнечный свет.

Тональная коррекция меняет саму природу отображаемой сцены. Мы воспринимаем это как сцену с более тёмным солнечным светом, где свет от солнца в тысячи раз темнее обычного. Но мы не воспринимаем это как небесный катаклизм, потому что знаем, как работает фотография. Наблюдение отличается от взгляда на реальную сцену, однако понимание их схоже.

Тот же эффект применяется и в карандашном рисунке, когда рисунок выглядит как реальные сцены при определённом освещении и затенении.

Это значит, что мы можем разными способами изменять изображения и картинка всё равно будет выглядеть красиво, даже если впечатление слегка отличается.

Камеры мобильных устройств и машинное обучение

Сегодня почти любое фото, которое я делаю камерой своего телефона, выглядит красиво без выбора параметров выдержки и затвора, которые когда-то требовались камерам. Телефон всё равно делает этот выбор, автоматически выбирая эти параметры или их аналоги в миниатюризированных системах телефона.

Но наши мобильные камеры выполняют гораздо больше, чем просто выбор выдержки. Они малозаметным образом настраивают оттенки и цвета на фотографиях. Они работают как Энсел Адамс, локально меняя оттенки фотографии, проделывая это незаметно и автоматически для каждого фото. Благодаря алгоритмам телефона я могу сделать хороший снимок, направив камеру прямо на солнечный свет.

Примерно в 2014 году исследователи Google разработали HDR+, позволяющий телефонам Pixel снимать гораздо большие динамические диапазоны, чем можно отобразить на экране. То есть они разработали тональную коррекцию для отображения этих HDR-изображений эстетически приятным образом, в том числе и передавая глубокие тени, как у Караваджо. В iPhone с 2010 года тоже присутствует HDR-съёмка.

В статье 2017 года Мишеля Гарби и соавторов показано, как алгоритмы машинного обучения в реальном времени может заменить рукотворную тональную коррекцию:

Основываясь на данных обучения, полученных у профессиональных фоторедакторов, их методика использует тщательно проработанную глубокую нейросеть, обучающуюся применять эти преобразования к новым изображениям в камере в реальном времени. Их алгоритм был спроектирован для достижения определённых эстетических целей, например, сохранения резких краёв. Такие алгоритмы постоянно работают в наших телефонах, например, HDR+ Google, комбинирующий несколько выдержек, как на фото с церковью выше.

Наверно, нагляднее всего можно увидеть фотографические решения, встроенные в мобильную фотографию, на примере Google Night Sight, используемого в телефонах Pixel. Этот алгоритм кодирует эстетические решения о том, из-за каких аспектов изображение выглядит как ночная фотография. Разработчики алгоритма черпали вдохновение у таких художников, как Джозеф Райт, а также из техник затемнения теней наподобие «day for night». Вот пример:

 

Фото с низким освещением, отрендеренное более ранним алгоритмом и алгоритмом Night Sight

Обратите внимание, что разработчики не только сделали изображение ярче, но и добавили контраст с голубоватыми оттенками к отдельным частям изображения, а также затемнили тени. Рекомендую прочитать техническую статью или пост в блоге с более подробным описанием всех задействованных аспектов.

В iPhone используется нечто подобное; ночные фотографии на моём iPhone стали гораздо лучше спустя какое-то время после того, как выпустили Night Sight для Pixel. Неделю спустя после публикации этого поста журнал New Yorker тоже рассказал некоторые подробности, пожаловавшись на агрессивную правку фотографий на iPhone.

Мне нравится, как мой телефон делает потрясающие фотографии закатных и ночных пейзажей, и эти снимки выглядят намного лучше, чем сделанные пять лет назад. Мои фотографии стали результатом совместной работы меня, проектировщиков алгоритмов и производителей камеры, и они отражают сочетание эстетических решений, сделанных каждой из сторон.