Фотограф создает цифровую фотографию с помощью камеры и компьютера, а фотография оценивается автором и зрителем с помощью глаз и мозга. Знание деталей каждого из процессов этой цепочки не только интересно, но и полезно. В частности, обрабатывая снимок на компьютере, хочется не только знать, что нужно сделать для улучшения изображения, но и понимать почему.

В этой главе я собрал информацию о том, как человек воспринимает изображение. Точнее, о том, как человек получает и обрабатывает информацию об изображении. Ограничиваясь только сведениями, которые могут быть интересны фотографу. Я не биолог, поэтому почерпнул все эти сведения из литературы, приведенной в конце книжки, и, конечно, из интернета.

Что происходит, когда человек рассматривает реальный 3D-пейзаж? Световые лучи от источников света и отраженный от предметов свет попадают в глаз, преобразуются сетчаткой в нервные импульсы, которые передаются в мозг, обрабатываются там и, наконец, появляется осознание того, что же мы видим в данный момент. Рассмотрим этот процесс подробнее, но только с точки зрения обработки информации, не очень углубляясь в биологические детали.

Поле зрения одного глаза приблизительно характеризуется следующими углами (отсчитываются от оси глаза, когда он смотрит прямо перед собой):

• 90° – по горизонтали, в сторону, противоположную носу;

• 60° – по горизонтали, к носу;

• 60° – вверх;

• 65° – вниз.

Эти углы будут меньше, если учитывать не простую индикацию света, а способность различать трехмерность, или, тем более, цвет. Самое большое поле зрения для синего цвета, а самое маленькое – для зеленого. У некоторых птиц поле зрения по горизонтали достигает почти 360°. Для сравнения: угол поля зрения объектива: 9° и менее – сверхдлиннофокусный, от 40° до 60° – нормальный объектив, более 80° – сверхширокоугольный.

Когда то, что видно в поле зрения одного глаза, проецируется на сетчатку, наиболее резко воспринимается только та часть картинки, которая попадает на центральную ямку сетчатки (фовеа). Менее резко – та часть, которая попадает на желтое пятно (макула), в центре которого находится фовеа. И совсем нерезко и почти бесцветно – остальная часть. Если сравнить размеры перечисленных областей сетчатки (соответственно, 0.4 мм, 5 мм, 22 мм) (или в углах: 1° 40', 18° 20', 135° по горизонтали), то становится понятно, что, несмотря на такое широкое поле зрения, в каждый момент времени каждый глаз резко воспринимает только очень небольшой кусочек всей картинки.

Мы этого обычно не замечаем, потому что глаза сканируют пейзаж скачкообразно, совершая быстрые движения (саккады, от двух до нескольких десятков угловых минут) примерно три-четыре раза в секунду, перемещаясь от одной привлекающей внимание детали к другой. В первую очередь привлекают внимание движущиеся или сильноконтрастные детали, а также участки, которые мозг по какой-то причине считает важными (например, исходя из своего предыдущего опыта). Какие-то другие части пейзажа могут остаться непросканированными. Что именно сканируется и в каком порядке – зависит еще и от целевой установки смотрящего (что ему важно увидеть или не пропустить). Благодаря саккадам самая важная часть изображения рассматривается с большим разрешением с помощью проектирования на фовеа по частям.

В начале рассматривания нового пейзажа саккадические прыжки длинные, а периоды фиксации взгляда – короткие. Затем периоды фиксации удлиняются, а прыжки укорачиваются. С возрастом периоды фиксации укорачиваются, а прыжки удлиняются. Полагают, что это происходит благодаря накопленному опыту наблюдения.

Между саккадами в момент фиксации взора происходит дрейф – медленное и плавное смещение взора (от 3 до 30 угловых минут). Периоды дрейфа прерываются быстрыми движениями небольшой амплитуды (менее 1 ÷ 2 угловых минут) и случайного направления (микросаккады). Микросаккады обычно возникают во время длительной фиксации (несколько секунд). И на все это накладывается еще и тремор – дрожание глаза с амплитудой 20–40 угловых секунд и с частотой 30–250 герц (измерение спектра частот тремора используется в диагностике состояния мозга, в частности, при проведении анестезии).

Роль микросаккад до конца невыяснена, но предполагают, что они нужны для компенсации смещения глаза из-за дрейфа и для поддержания изображения на сетчатке в движении (благодаря микросаккадам нейроны поддерживаются в активном состоянии из-за того, что неподвижные детали картинки перемещаются по их рецептивным полям, подробнее см. в следующем параграфе). Как показали эксперименты, если бы не было мелких движений глаз, мы бы видели только движущиеся предметы (как, например, видят лягушки). В этом случае при просмотре неподвижной сцены после начала каждой фиксации взгляда примерно через несколько секунд изображение бы полностью исчезало, а после перевода взгляда на другую точку новая картинка снова бы появлялась на несколько секунд.

Продолжительность фиксации взгляда примерно равна одной четверти секунды, но может быть разной, в зависимости от того, сколько времени нужно мозгу для завершения анализа соответствующей мгновенной картинки («кадра»). Интересно, что эти времена приблизительно кратны одной четверти секунды. Возможно, четверть секунды – это как раз именно то время, которое необходимо для выполнения алгоритма обработки глазом и мозгом одного «кадра». Поскольку во время выполнения саккадического прыжка информация от рецепторов сетчатки в мозг не передается, то нейроны мозга для обработки предыдущего «кадра» имеют дополнительное время. Еще один источник дополнительного времени – мигание.

Свет, попадающий в глаз, проходит сквозь роговицу и хрусталик. Роговица и хрусталик играют роль двухлинзового объектива, причем линза-хрусталик имеет изменяемую кривизну и неравномерный коэффициент преломления, максимальный в центре и минимальный на периферии. Преломление света в роговице больше, чем в хрусталике, потому что коэффициенты преломления воздуха и роговицы различаются сильнее, чем коэффициенты преломления роговицы и хрусталика.

Изображение, сфокусированное роговицей и хрусталиком, попадает на сетчатку. Сетчатка занимает примерно две трети внутренней поверхности глазного яблока, а ее толщина – около 0.3 мм. Изображение на сетчатке глаза воспринимается рецепторами: палочками и тремя видами колбочек: L-колбочки, M-колбочки, S-колбочки (от Long, Middle, Short wavelength). В сетчатке одного глаза находится до 125 миллионов палочек и до 7 миллионов колбочек (распределение по типам L: M:S – 32:16:1). Размер наружной части рецептора, содержащей светочувствительный пигмент, равен 1 ÷ 2 микрон для палочки или 1 ÷ 5 микрон для колбочки.

Плотность рецепторов в центральной части сетчатки: 60000–150000 на мм². Чувствительность: 5–14 фотонов для палочки и в 100–1000 раз больше для колбочки.

Максимум спектральной чувствительности палочек – 510 нм. Три вида колбочек имеют максимумы спектральной чувствительности 570 нм. (L), 544 нм. (M) и 443 нм. (S), то есть, приблизительно в области красных, зеленых и синих цветов.

Под слоем рецепторов находится слой клеток, содержащий черный пигмент меланин, поглощающий прошедший сквозь слои сетчатки и уже не нужный свет. Кроме того, эти клетки играют важную роль в процессе восстановления обесцвеченного светочувствительного пигмента палочек и колбочек.

Интересно, что у животных, ведущих ночной образ жизни, этот слой клеток, наоборот, имеет высокий коэффициент отражения, что повышает чувствительность сетчатки к свету (отраженный свет снова проходит через слой рецепторов в обратном направлении), но, разумеется, за счет ухудшения качества изображения. Именно поэтому глаза таких животных светятся в темноте (отраженным светом, конечно).

Под действием света в палочках обесцвечивается пигмент родопсин (зрительный пурпур), а в колбочках – пигмент йодопсин (точнее, хлоролаб, эритролаб, цианолаб в зависимости от вида колбочки). Причем количество прореагировавшего пигмента зависит от яркости приблизительно логарифмически (закон Вебера – Фехнера), или, точнее, как степенная функция (закон Стивенса).

Пигмент находится в элементах рецепторов, называемых дисками для палочек и полудисками для колбочек. В каждом рецепторе таких (полу)дисков около тысячи. Диски и полудиски с обесцветившимся пигментом рассасываются, и в рецепторе возникают новые с восстановленным пигментом. Полная замена дисков и полудисков одного рецептора осуществляется примерно за 10 дней. Интересно, что обновление колбочек происходит после захода солнца, а палочек – на восходе.

Когда рецептор не освещен, он активен и постоянно выделяет нейротрансмиттер глутамат (химическое вещество, в других слоях сетчатки используются и другие нейромедиаторы, например, глицин). А соседний нейрон сетчатки, получающий этот нейротрансмиттер, постоянно выдает импульс за импульсом, которые передаются далее по аксону. После поглощения фотона количество выделяемого вещества уменьшается, то есть, свет фактически выключает рецептор. Плавное изменение освещенности рецептора вызывает постепенное изменение количества выделяемого вещества в рецепторе и, соответственно, частоты импульсов соседнего нейрона.

В отличие от сенсоров цифровых камер свойства разных участков сетчатки неодинаковы. Эта неоднородность заключается в следующем.

Во-первых, рецепторы в сетчатке распределены неравномерно. В центре фовеа палочек нет совсем. По мере удаления от центра фовеа плотность палочек возрастает и достигает максимума (около 150000 на мм²) примерно при угле 25°, а затем снова падает до 40000 на мм² на периферии. Плотность колбочек максимальна (около 150000 на мм²) в центре фовеа (за исключением S-колбочек, которых тут нет), затем резко падает и при углах, больших 25°, становится меньше 5000 на мм².

Во-вторых, часть сетчатки, а именно, макула, покрыта желтым фильтром (клетки содержат пигменты лютеин и зеаксантин), что изменяет в этом месте спектральную чувствительность колбочек (фильтр поглощает избыток синего и ультрафиолетового света).

В-третьих, фоторецепторы в центре сетчатки и на ее периферии по-разному соединены с нейронами сетчатки, о чем ниже.

Края сетчатки не дают даже черно-белого зрительного ощущения, а только служат датчиком движения, который вызывает рефлекторный поворот глаз к движущемуся объекту.

Эти факты объясняют, почему при достаточно ярком освещении разрешающая способность глаза максимальна в фовеа и падает по мере приближения к периферии. Если же яркость объекта настолько мала, что чувствительность колбочек оказывается недостаточной и работают только палочки, разрешающая способность, наоборот, минимальна в фовеа и достигает максимума при угле около 25°. При такой низкой яркости цвета уже не различаются. Таким образом, для того чтобы рассмотреть слабый источник света в условиях низкой освещенности, нужно смотреть не прямо на источник, а на 25° в сторону.

Поскольку в центре фовеа S-колбочек почти нет, то синие цвета в этом месте сетчатки определяются плохо. Вдобавок, коротковолновая часть света еще и ослабляется желтым пигментом, присутствующим в клетках макулы. С другой стороны, синяя компонента изображения в центре фовеа обычно и так находится не в фокусе из-за продольных хроматических аберраций. Поэтому потери информации из-за отсутствия центре фовеа S-колбочек немного.

В 1991 году был обнаружен еще один тип фоторецепторов сетчатки глаза: светочувствительные ганглионарные клетки типа ipRGC (intrinsically photosensitive retinal ganglion cells), или mRGC (melanopsin-containing retinal ganglion cells), содержащие светочувствительный пигмент меланопсин. Подробнее об этом – в следующем параграфе.

Интересно, что почти у всех млекопитающих, кроме приматов, типов колбочек только два, а не три. Так что собаки и кошки видят цвета совсем по-другому, чем мы. Еще интереснее, какие цвета видят сумчатые и некоторые птицы, у которых четыре типа колбочек, включая колбочки, реагирующие на ультрафиолет! Даже у некоторых людей, в основном у женщин, редко, но встречается четвертый вид колбочек.

В сетчатке кошек вместо центральной ямки имеется зрительная полоска. А вот у ястреба центральных ямок – две. Я где-то читал, что если добыча, сбитая соколом в воздухе, падает на землю, то он ее не подбирает. Я думал, что он такой гордый или брезгливый. Теперь я думаю, что он ее просто не видит или не воспринимает как съедобное – она неподвижна. Над моим дачным участком часто охотится пустельга. Один раз я, и правда, нашел на земле сбитого им дрозда со сломанной шеей. Но, с другой стороны, сороки воруют блестящие предметы, значит, они их видят.

Сигналы от рецепторов поступают в нейроны, несколько слоев которых располагаются в сетчатке над слоем с рецепторами. То есть, свет, попадающий на рецепторы, сначала проходит сквозь тонкий слой нейронов. Функции этих нейронов и связи между ними очень интересны, но из нескольких десятков типов нейронов сетчатки я упомяну только один, а именно, ганглиозные клетки. Аксоны ганглиозных (или ганглионарных) клеток образуют зрительный нерв и уходят глубоко в мозг (бо́льшая часть – в наружное коленчатое тело (часть таламуса)). По этим аксонам в мозг передается информация о том, что спроецировалось на сетчатку.

В отличие от плавного изменения выходного сигнала рецептора (концентрации нейротрансмиттера), выходной сигнал нейрона представляет собой импульс. Если входной сигнал меньше порогового значения, нейрон молчит. Если входной сигнал превысит порог, нейрон выдает импульс. После импульса нейрон некоторое время не способен генерировать импульсы. Таким образом, аналоговая информация, содержащаяся во входном сигнале нейрона, кодируется в частоту выходных импульсов.

Один рецептор сетчатки через промежуточные нейроны может быть связан с десятками ганглиозных клеток. А каждая ганглиозная клетка получает сигналы только от одной колбочки, если та находится в фовеа, или же от нескольких тысяч рецепторов, находящихся на периферии. Это снова приводит к тому, что в фовеа разрешение выше, чем на периферии, но чувствительность к свету в фовеа меньше.

Информация от приблизительно 130 миллионов фоторецепторов преобразуется в серии нервных импульсов, передающихся в мозг по зрительному нерву, состоящему из примерно 1 миллиона волокон (аксонов ганглиозных клеток сетчатки). То есть, информация, содержащаяся в (амплитудно-модулированной) степени освещенности фоторецепторов, сжимается приблизительно в 130 раз и преобразуется в частотно-модулированный сигнал, поступающий в мозг. Передаваемая информация может заключаться не только в частоте импульсов, но и в величине задержки между появлением стимула и первым импульсом, и в величине фазового сдвига между первым импульсом и фоновыми осцилляциями головного мозга.

Участок сетчатки, с которого ганглиозная клетка сетчатки собирает информацию, называется ее рецептивным полем. Это примерно 1 мм². Ученые, обнаружившие рецептивные поля, получили Нобелевскую премию по физиологии/медицине в 1981 году (David H. Hubel, Torsten N. Wiesel).

Ганглиозные клетки бывают разных типов. Пространственно оппонентные ганглиозные клетки ведут себя так. Если рецептивное поле равномерно освещено, то такая ганглиозная клетка не возбуждается. А вот если яркость в центре рецептивного поля и на его периферии различается более чем на 2 % (приблизительно), то клетка выдает серию импульсов.

Аналогично, спектрально оппонентная «красно-зеленая» ганглиозная клетка возбуждается только тогда, когда на ее рецептивном поле сигналы от красных в центре и зеленых на периферии колбочек различаются.

Таким образом, в мозг уходит не «попиксельная» информация об изображении на сетчатке, а данные о наличии яркостных и цветовых границ и, возможно, что-то еще.

Нейрон, возбудившийся в результате соответствующего стимула в его рецептивном поле, не только передает сигнал в мозг, но и увеличивает пороги возбуждения соседних нейронов. Это приводит к подчеркиванию границ и усилению контраста (знакомые слова для фотографов!).

В отличие от других нейронов сетчатки, светочувствительные ганглиозные клетки реагируют на свет непосредственно, без помощи палочек и колбочек. И не на границы, а на среднюю освещенность. Полагают, что сигналы от этих клеток используются мозгом для управления сужением зрачка и в качестве сигналов, помогающих понять, день или ночь сейчас.

При рассмотрении природной сцены при каждом саккадическом прыжке может происходить значительное изменение яркости и контраста. Адаптация к яркости осуществляется главным образом в сетчатке. При этом изменения в яркости, происходящие во время перехода от одного участка сцены к другому, эффективно устраняются. Адаптация к контрасту начинается в сетчатке и продолжается в зрительной коре. Чувствительность к контрасту максимальна для низко контрастных областей и минимальна для высоко контрастных.

Преобразованное описанным выше способом изображение поступает в мозг, причем большинство (70 %) волокон зрительного нерва заканчивается в наружном коленчатом теле, которое служит первичным зрительным центром. В каждом полушарии мозга находится свое НКТ (по 1.8 миллионов нейронов). НКТ имеет слоистую структуру, состоящую из 6 слоев. Нервные импульсы от одного глаза поступают в четные слои НКТ, а от другого глаза – в нечетные. При этом проекции одной (любой) точки зрительного поля находятся в слоях НКТ строго одна под другой. А соседние точки зрительного поля проецируются на соседние точки НКТ в каждом слое. Таким образом, изображение на сетчатке проецируется на слои нейронов НКТ. При этом область фовеа занимает непропорционально большую площадь.

В свою очередь, НКТ соединяется с первичной зрительной корой головного мозга нервными волокнами, которые образуют зрительную лучистость.

Раньше считали, что НКТ служит всего лишь передаточным звеном между нейронами сетчатки и зрительной корой. Однако обнаружилось, что НКТ получает информацию не только от сетчатки, но и от слоя VI зрительной коры (25–30 %) и от мозгового ствола (brainstem), который, в частности, управляет вниманием и движением глаз. Особенно интересно наличие обратной связи: результат обработки изображения несколькими слоями зрительной коры снова передается на участок первичной обработки картинки, которым является НКТ (не считая нейронов сетчатки).

Таким образом, функционирование НКТ управляется высшими отделами мозга с помощью нервных волокон, идущих во все слои НКТ из коры головного мозга, что явно было бы не нужно для простой ретрансляции сигнала. И действительно, обнаружилось, что если рецептивные поля нейронов сетчатки постоянны, то рецептивные поля нейронов НКТ изменяются в соответствии с данными, поступающими в НКТ из зрительной коры головного мозга.

Если сравнить нейроны сетчатки и нейроны НКТ, то получим следующее. Сетчатка дает множественные картинки окружающего мира, полученные эффективно и с хорошей чувствительностью. НКТ использует контекст (уже обнаруженные свойства изображения в целом) для повышения информативности данных, передаваемых в зрительную кору. Активность обратной связи возрастает, например, когда текстура изображения вне рецептивного поля отличается от структуры внутри.

Нейроны НКТ значительно различаются между собой по времени задержки реакции на входной сигнал. Гораздо сильнее, чем нейроны сетчатки. Благодаря этому осуществляется обнаружение изменений картинки во времени. Нейрон сетчатки осуществляет выделение пространственных границ в кусочке изображения, попавшего в его рецептивное поле, а нейрон НКТ обнаруживает изменение картинки в своем рецептивном поле, происходящее с течением времени. Таким образом, в зрительную кору поступает информация о пространственно-временной структуре изображения на сетчатке. Это позволяет не передавать в мозг малосущественную часть данных.

Активность нейронов НКТ возрастает с повышением внимания и возбуждением, чего не наблюдается в сетчатке. НКТ помогает зрительной системе направлять внимание на наиболее важный объект (например, по информации от слуховой системы). И наоборот, активность НКТ меняется при переносе внимания от одной части сцены к другой.

Исходя из структуры НКТ, можно предположить, что именно здесь начинают анализироваться различия в изображениях, полученных правым и левым глазами, то есть, связанные с бинокулярностью зрения. Информация об этих различиях используется для следующего:

• управления сведением глаз при рассматривании близко расположенного предмета,

• определения расстояния до предмета,

• управления фокусированием глаз по «вычисленному» расстоянию до предмета,

Функции НКТ, связанные с управлением движением глаз:

• подавление передачи зрительной информации во время саккад,

• различение движения среды от самодвижения,

• переход от системы координат, связанной с сетчаткой, к системе координат, связанной с головой.

Подавление сигнала от сетчатки начинается примерно за 100 мс до начала саккады. То, что подавление начинается до начала саккады, говорит о том, что этим процессом не могут управлять ни сетчатка, ни сигналы от мышц глаза.

Во время микросаккад происходит повышение активности НКТ, что может говорить о том, что в это время осуществляется уточнение и обогащение информации, повышение резкости границ.

Кроме того, полагают, что НКТ осуществляют что-то, похожее на разложение изображения по пространственным частотам. Происходит это с помощью управления размерами рецептивных полей нейронов НКТ. Сразу же после саккадического прыжка НКТ передает в первичную зрительную кору изображение, полученное с помощью больших рецептивных полей (низкие пространственные частоты, грубая картинка). Затем рецептивные поля постепенно уменьшаются и в мозг передаются изображения, состоящие из более высоких пространственных частот (детали). И так до тех пор, пока рецептивные поля не уменьшатся до минимума. После этого передача информации от НКТ в зрительную кору прекращается до следующего саккадического прыжка.

Несмотря на массу данных о строении НКТ на уровне нейронов, остается много непонятного, например, почему объем и структура НКТ мало изменились с течением эволюции, по сравнению со зрительной корой? Почему мало изменились слои нейронов сетчатки – предположить можно. Потому что они находятся перед рецепторами, и если бы их стало больше, зрение ухудшилось бы.

Зрительная кора, занимающая затылочную часть головного мозга, имеет толщину около 2 мм и состоит из 140 миллионов нейронов в каждом полушарии. Зрительная кора разделяется на первичную (V1, стриарную, то есть, полосатую, так как под микроскопом видны полоски, идущие параллельно поверхности) и экстрастриарную зрительную кору. Последняя состоит из более чем 20 зон, обозначаемых V2. V3, V4, V5, IT (inferior temporal cortex), MT (middle-temporal cortex), MST (medial superior temporal cortex), PIT, AIT и других. Первая зона экстрастриарной коры называется вторичной зрительной корой (V2). Общая поверхность первичной коры у человека – 30000 мм².

Типов нейронов зрительной коры насчитывается несколько сотен. Зоны V1 и V2 содержат около 70 % всех нейронов зрительной коры. Все зрительные зоны, как и другие зоны коры головного мозга в целом, содержат по шесть слоев нейронов, а основной вход в зону происходит в нейроны четвертого слоя.

Количество связей между первичной зрительной корой и последующими слоями в 25 раз больше количества волокон зрительной лучистости. Таким образом, нейроны следующего слоя могут формировать свои рецептивные поля из комбинаций рецептивных полей нейронов предыдущего слоя.

Также как и в НКТ, соседние участки поля зрения «проецируются» на соседние же участки первичной зрительной коры, причем сигналы от небольшого участка поля зрения поступают в небольшой участок зрительной коры. Центральная ямка сетчатки глаза проецируется на пространство коры в сотни раз большее, чем периферия сетчатки. Кроме того, сигналы от соседних участков сетчатки обрабатываются мозгом более или менее независимо (по крайней мере, на начальных стадиях обработки).

Если ганглиозные клетки сетчатки реагировали на наличие границы, то нейроны в слоях зрительной коры реагируют на более сложные виды картинок в своих рецептивных полях. Чем дальше расположен нейрон от сетчатки по пути, по которому идет визуальная информация, тем выше его избирательность. Так в зоне V1 существуют нейроны, реагирующие только на границу, идущую в определенном направлении, и не реагирующие на границы, идущие в других направлениях. То же самое для движения в определенном направлении. Также найдены клетки коры, возбуждающиеся только при поступлении информации о конце границы (линии).

По мере перехода к более глубоким слоям нейронов вид картинок, на которые нейроны реагируют, усложняется, а избирательность увеличивается. Есть нейроны, реагирующие только на определенные пространственные частоты. В более глубоких слоях зрительной коры существуют нейроны, возбуждающиеся только тогда, когда в их рецептивных полях находится изображение лица (может быть даже только определенного лица).

Зрительная кора, как и другие регионы коры головного мозга, состоит из миллионов вертикальных колонок нервных клеток по нескольку сотен нейронов в колонке. Диаметр колонок – 30–50 микрон. Между колонок первичной зрительной коры размещаются шарообразные области диаметром около полмиллиметра (цветовые шарики). Если двигаться параллельно поверхности V1, то будут чередоваться колонки, получающие информацию от левого и от правого глаза. То есть, изображения левого и правого зрительных полей не объединяются, а обрабатываются параллельно. Если двигаться перпендикулярно к поверхности V1, то направление, к которому чувствительны нейроны, будет плавно меняться от горизонтального к вертикальному и обратно.

Первичная зрительная кора служит своеобразной «линзой», с помощью которой остальные зрительные зоны получают визуальную информацию об окружающем мире, и свойства которой (линзы) они могут менять в широких пределах. Если первые зоны зрительной системы человека (НКТ, V1) занимаются выделением локальных деталей изображения, то остальные зоны ответственны за различение форм и узнавание объектов. В зоне V2 анализируются границы и форма поверхностей. В зонах V4 и MT осуществляется анализ признаков глубины и отделение объектов от фона.

Еще раз подчеркну, что деятельность первых зон в значительной степени зависит от результатов обработки картинки высшими зрительными зонами, задачей, которую ставит перед собой человек, и его личным опытом наблюдения подобных изображений.

С другой стороны, благодаря наличию прямых связей первичных зон с высшими (в обход промежуточных зон) информация о локальных деталях может поступать в высшие зоны зрительной коры непосредственно из первых зон.

Рецептивные поля нейронов зон V4 и MT примерно в четыре раза больше рецептивных полей нейронов зоны V1. Рецептивное поле нейрона зоны IT занимает уже бо́льшую часть всего поля зрения.

Обработка изображения происходит параллельно по трем взаимодействующим каналам.

• Первый канал (канал «Что») состоит из нейронов-детекторов деталей изображения. Эти нейроны хорошо различают мелкие детали, но имеют низкую чувствительность к контрасту и к изменениям во времени. По мере перехода от слоя к слою избирательность нейронов увеличивается. Нейроны зоны IT реагируют на очень сложные элементы картинки, например, на изображения лица, независимо от их размера и положения на сетчатке.

• Второй канал (канал «Где») состоит из нейронов-детекторов контраста и движения. Эти нейроны имеют высокую чувствительность к контрасту и к изменениям во времени, но низкое пространственное разрешение. Одни нейроны MST реагируют на небольшие движущиеся объекты, а другие – на движение краев больших объектов. С помощью этого канала быстро обнаруживаются новые или изменившиеся объекты.

• Третий канал состоит из нейронов, имеющих отношение к восприятию цвета.

Интересно, что полученное человеком образование влияет на размеры зон коры головного мозга. Так обнаружено, что у музыкантов, зона, ответственная за чтение партитур, увеличена за счет уменьшения соседних зон.

Каждый нейрон может иметь до 15000 соединений с соседними нейронами. Те соединения, которые оканчиваются на дендритном дереве, возбуждают нейрон, а те, которые соединяются с телом нейрона – тормозят. Каждую секунду нейрон может получать тысячи возбуждающих и тормозящих импульсов от своих соседей. Как это все работает – уму непостижимо!

А как все это выросло из одной клетки! Конечно, в ДНК закодирована не схема соединения нейронов, а правила ее построения. Типа «аксон нейрона ищет ближайший нейрон, использующий такой же нейромедиатор, и соединяется с ним; если не находит, то нейрон этого аксона отмирает».

Когда-нибудь докопаются и до детальных исходных текстов этой программы.

Придумана красивая математическая модель, которая удивительным образом объясняет, для чего могло бы понадобиться создать такую систему рецептивных полей нейронов коры головного мозга и как это могло быть сделано. Идею можно объяснить следующим образом.

Пусть мы имеем много фотоснимков разных пейзажей. Поставим такую задачу: найти такой набор кусочков изображений, из которых можно было бы составить (как пазл) любую из этих фотографий. Пусть таких кусочков будет много, лишь бы каждый снимок состоял из небольшого их числа. Эта задача имеет тривиальное решение: разрезаем каждый снимок на кусочки и все вместе они и дадут искомый набор.

Потребуем теперь, чтобы количество кусочков было гораздо меньше, чем получились в этом наборе. Это можно было бы сделать, например, рассортировав этот набор на группы похожих кусочков, и каждую группу заменить на один «усредненный» кусочек.

Оказывается, что такая задача может быть решена не разрезанием изображений на части и сортировкой кусочков, а математически строго. То есть, для заданного множества изображений можно построить набор наилучших картинок, из которых может быть составлено каждое изображение из этого множества. «Наилучших» в том смысле, что составленное из этих картинок изображение будет отличаться от исходного минимальным образом. И при важном условии, что каждое изображение составляется из небольшого количества картинок.

Основная цель решения этой задачи не в том, чтобы получить составные изображения, близкие к исходным, а в том, чтобы найти элементарные компоненты изображений данного класса, позволяющие экономным образом закодировать их структуру.

Когда такой алгоритм (sparse coding, разреженное кодирование) обработал около полумиллиона кусочков изображений пейзажей и других сцен окружающего нас мира, то полученные элементарные картинки оказались невероятно похожи на картинки, на которые настроены рецептивные поля некоторых из нейронов первичных зрительных зон головного мозга!

Если составление изображений из кусочков сравнить с составлением слов из букв, то получается, что полученный алфавит (набор элементарных картинок) содержит много букв, но каждое изображение представляет собой короткое слово. В этом и состоит «разреженность». Получается что-то вроде китайской азбуки, но вид иероглифов не придуман людьми, а вычислен оптимальным образом для заданного набора понятий, которые должны быть описаны этим языком.

Если это все действительно так, то вырисовывается следующая схема.

1. Каждый «пиксель» изображения на сетчатке представлен в высших разделах зрительной коры головного мозга в виде возбуждения только тех нейронов, для которых картинка в окрестности этого пикселя «совпала» с той, на которую настроены их рецептивные поля. Нейронов, в рецептивных полях которых находится окрестность данного пикселя – много, может быть, сотни тысяч и больше, но для конкретного изображения (одного из тех, которые могут встретиться в природе), всегда сработает только небольшое их количество, возможно, единицы или десятки (в этом и проявляется разреженность!).

2. Картинки в рецептивных полях, на которые реагируют нейроны зрительной коры, формируются в процессе самообучения в раннем возрасте, а может быть, и в течение всей жизни. Когда младенец с удивлением рассматривает яркую игрушку, может быть, в это время это и происходит. Получающиеся картинки различаются рисунком, ориентацией и полосой пространственных частот этого рисунка.

Если верно, что наружное коленчатое тело преобразует изображение на сетчатке в последовательность изображений с разными интервалами пространственных частот, то тем самым дается шанс нейронам, настроенным на разные частоты, «опознать» свой рисунок.

Полагают, что разреженное кодирование является общим принципом кодирования сенсорной информации в нервной системе и используется, в частности, для кодирования природных звуков или запахов.

Благодаря представлению информации, полученной от сенсоров, в виде разреженного кода:

• выявляется структура сложных входных данных, что упрощает их анализ на последующих уровнях;

• повышается емкость ассоциативной памяти, т. к. повышается различимость сходных состояний;

• экономится энергия (а подсчитано, что в коре головного мозга энергии хватает только для одновременной активации не более чем 2 % всех нейронов коры).

По мере перехода к последующим слоям нейронов их рецептивные поля все усложняются и для моделирования их структуры, если такое окажется возможным, уже нужно будет учитывать степень значимости для организма элементарного изображения (какое типичное поведение оно вызывает: опасность это, или добыча, или что-то другое жизненно важное).

На заключительных стадиях обработки зрительной информации, о которых на клеточном уровне мало что известно, осуществляется следующее:

• отсутствующие, например, из-за наличия на сетчатке слепого пятна, части изображения восстанавливаются, видимо, с помощью интерполяции и сведений, хранящихся в памяти;

• информация, которая была отсечена на этапе структуризации изображения, домысливается (если она требуется), снова с помощью интерполяции и памяти;

• мозг «улучшает» поступившую картинку с помощью ранее полученных знаний об изображенных предметах и, в частности, о законах перспективы;

• конечный результат мысленной реконструкции изображения мозгом помещается в долговременную память человека.

Деятельность мозга по улучшению картинки нужно описать подробнее. Еще Декарт заметил, что часто мы визуально воспринимаем вещи правильнее, чем это можно было бы сделать, основываясь только на том, как они видны в реальности. Это явление называется константностью зрительного восприятия.

Существует множество видов константности восприятия: константность восприятия размеров, формы, яркости, цвета и другие.

Так, в изображении на сетчатке размеры предметов подчиняются законам передачи перспективы. Но благодаря механизму константности размеров мы воспринимаем размер очень близких предметов уменьшенным по сравнению с тем размером, который получился на сетчатке. А размер удаленных предметов воспринимается немного увеличенным. То есть, мозг частично исправляет перспективные искажения размеров предметов. Коррекция восприятия осуществляется на основе сведений об условиях просмотра (в том числе, с учетом признаков глубины) и хранящихся в памяти знаний о свойствах предметов, которые мы видим.

Включив лампу накаливания, мы обнаруживаем, что белая бумага стала восприниматься немного желтоватой. Однако через небольшой промежуток времени бумага снова станет восприниматься белой. Произошла адаптация к цвету источника освещения. Влияние цвета источника освещения на воспринимаемый цвет ослабляется свойством зрительной системы человека, которое называется хроматическая адаптация.

Видя нарисованный на картинке эллипс, мы часто можем легко определить по остальным деталям картинки, что на самом деле это – круг, видимый сбоку. Сработала константность формы.

Наличие механизмов константности зрительного восприятия объясняется тем, что человеку важнее выделить в изображении реальные знакомые объекты, чем определить фотометрический уровень освещенности или, к примеру, цвет источника освещения.

Разумеется, мозг корректирует (с помощью накопленных знаний) информацию, получаемую не только от органов зрения, но и от других органов чувств.

Обнаружено, что степень такой коррекции (коэффициент константности), обычно составляет 10–70 %. Константность восприятия наблюдается уже у трехлетних детей, и ее развитие продолжается до 10–12 лет.

Мы можем не только видеть предметы или пейзажи, но и вспоминать их и даже мысленно конструировать их. Различают следующие основные виды визуальной памяти.

• Сенсорная (иконическая) память – это, например, изображение, остающееся в памяти после срабатывании вспышки в темной комнате. Длится около полусекунды, но содержит многие детали. Объясняется продолжающейся активностью фоторецепторов и тех нейронов, которые находятся в сетчатке и, возможно, в первичной зрительной коре.

• Кратковременная память хранит последовательные менее детальные визуальные образы и в более структурированном виде, но не более 30 секунд. Также объясняется продолжающейся деятельностью нейронов, но уже, возможно, той, которая обеспечивается обратными связями между ними.

• Долговременная память может хранить картинки (фрагменты картинок) годами и даже всю жизнь. Объясняется возникшими при запоминании изменениями в структуре связей между нейронами и в свойствах синаптических переходов. Долговременная память ассоциативна. Чтобы вспомнить какой-либо пейзаж, часто бывает нужно сначала вспомнить ту поездку, во время которой он был увиден, или какие-то обстоятельства, с ним связанные. Картинки, хранящиеся в такой памяти, сильно перемешиваются с воспоминаниями других типов (звуки, запахи, эмоции и другие). Запомненные картинки, похоже, с течением времени постепенно деградируют.

Процесс восприятия изображения сложным образом переплетен с деятельностью визуальной памяти:

• восприятие картинки непрерывно корректируется с помощью информации, хранящейся в визуальной памяти;

• воспринимаемые картинки непрерывно поступают в память;

• видимая картинка содержит больше деталей, чем находится в памяти.

Говорят, что встречается фотографическая память (эйдетическая). Это когда человек может взглянуть на лист бумаги с каким-то незнакомым ему текстом, закрыть глаза и по памяти зачитывать этот текст хоть слева направо, хоть наоборот, а хоть и снизу вверх. И даже правильно отвечать на неожиданные вопросы, например, если соединить заданные три слова линиями, то получится острый угол или тупой. Вместо текста может быть взята картинка. Однако, похоже, научным образом этот феномен никогда не исследовался, и существует ли он на самом деле, неизвестно.

Попробуем сравнить процессы обработки изображения (в нашем случае пейзажа) фотокамерой и зрительной системой человека.

Сначала сравним «угол зрения» объектива с углом зрения глаза.

Нормальная острота зрения у человека – это когда не сливаются в одну точку две точки, разделенные углом в 1 дуговую минуту, что соответствует 60 пикселям на градус (пнг). Средняя острота зрения примерно равна 85 пнг, а для пилотов морской авиации США – 150 пнг.

Для человека с остротой зрения 85 пнг и полем зрения 180° × 125° получаем, что полное изображение состоит из 15300 × 10625 пикселей, то есть, около 163 мегапикселей.

Для одного «кадра» поле зрения приблизительно равно 1° 40' × 1° 40', и часть изображения, спроецированного на фовеа, состоит из 142 × 142 пикселей, то есть, около 0.02 мегапикселей.

Для 100-миллиметрового объектива (углы зрения по горизонтали 20° и по вертикали 14°) и камеры с сенсором 5472 × 3648 пикселей получаем «остроту зрения» этой пары в 273 пнг по горизонтали и 243 пнг по вертикали.

Теперь сравним рецепторы сетчатки с пикселями сенсора камеры.

Размер наружной части рецептора, содержащей светочувствительный пигмент, равен 1 ÷ 2 микрон для палочки или 1 ÷ 5 микрон для колбочки. Размер пикселя сенсора равен 2.5 ÷ 8 микрон, размер зерна фотопленки: 0.05 ÷ 3 микрон.

Плотность палочек: 40–150 тысяч на мм², колбочек: 5–150 тысяч на мм². Плотность фоторецепторов сенсора – до 40 тысяч на мм². На цветной фотографии: около 30 тысяч точек на мм².

Чувствительность: 5–14 фотонов для палочки и в 100–1000 раз больше для колбочки. Для сенсора – несколько фотонов (сенсор ICCD, intensified CCD, усиленный ПЗС-сенсор), для зерна высокочувствительной фотопленки – 4 фотона.

Разрешающая способность: Количество рецепторов сетчатки одного глаза – 130 миллионов. Количество пикселей сенсора обычного фотоаппарата – до 30 миллионов. Максимальный размер кадра на сегодняшний день имеют 80-мегапиксельные матрицы в цифровых задниках Phase One iq280: 53,7×40,4 мм. Разрешающая способность сенсора: от 200 линий на миллиметр (у крупноформатных цифровых фотокамер) до 70 линий на миллиметр (у web-камер и мобильных телефонов).

Получается, что по количеству пикселей и их средней плотности фотоаппараты догоняют глаз. Но вот разрешающая способность сетчатки в центре фовеа пока что в 2–8 раз выше, чем у сенсоров современных камер (если сравнивать только плотности рецепторов и пикселей, без учета «оптики»).

Как воспринимается яркость сцены фотоаппаратом и зрительной системой человека?

Зависимость воспринимаемой глазами яркости от фактической яркости предмета нелинейна. Для того чтобы почувствовать изменение яркости в темных тонах, достаточно очень небольшого изменения фактической яркости. Тогда как для того, чтобы почувствовать изменение яркости в светлых тонах, потребуется более сильное изменение фактической яркости. В такую нелинейность вносят свой вклад следующие факторы:

• переключение рецепторов: при низких яркостях работают палочки, а при более высоких яркостях палочки полностью насыщаются и работают только колбочки; на промежуточных уровнях яркости функционируют и те и другие;

• истощение пигмента рецепторов на высоких уровнях яркости;

• изменение чувствительности сетчатки к свету, осуществляемое на уровне нейронов сетчатки;

• когнитивные механизмы – регулирующие восприятие яркости на основании знания наблюдателем содержимого сцены. Например, мы избегаем смотреть на солнце или на огонь электросварки незащищенными глазами.

Благодаря всему этому наши глаза могут видеть в диапазоне яркостей, границы которого различаются в 2²⁴ раз, то есть более чем в 16 миллионов раз! При этом роль сужения зрачка относительно невелика. Максимальные изменения зрачка для здорового человека – от 1,8 мм до 7,5 мм, что соответствует изменению площади зрачка всего в 2⁴ раз.

Теперь о яркости в числах.

Динамический диапазон (диапазон яркостей), воспринимаемый человеком: дневное зрение – 15 000: 1 (13 EV, exposure value), ночное зрение – 10 000 000: 1 (27 EV). Для сравнения, темная ночь: -6 EV, яркий солнечный свет: +22 EV. Контраст, воспроизводимый на бумаге: 8 EV, на пленке: 8–14 EV, воспринимаемый сенсорами цифровых камер: 8–14 EV, на экране монитора: 10 EV.

Снова сравним с фотоаппаратом. Для сенсора камеры зависимость воспринимаемой яркости от фактической яркости предмета линейна, за исключением краев воспринимаемого диапазона. Поэтому диапазон яркостей камеры с 14-битной разрядностью всего лишь 2¹⁴, что менее 17 тысяч. Но и это только теоретически. На практике из-за наличия шума этот диапазон снижается до 2⁹, что равно 512.

Следовательно, наши глаза лучше приспособлены для среды с широким диапазоном яркостей, чем наши фотоаппараты. Правда, нужно уточнить, что перепад яркостей, для которого темновая адаптация не превышает десятых долей секунды, составляет только 10–13 EV. Чтобы получить значение 27 EV для ночного зрения, приведенное выше, необходимо адаптироваться в течение получаса и более.

Фотоаппарат строит попиксельное отображение 3-мерного пейзажа на плоскость кадра по законам прямой линейной перспективы, которое затем обрабатывается программным обеспечением камеры и, возможно, пользователем с помощью компьютера, и воспроизводится на экране монитора или на каком-нибудь носителе (бумаге, пленке, ткани).

Система «глаз-мозг» превращает 3-мерный пейзаж в серию «кадров», каждый из которых содержит резкое отображение на плоскость (точнее, на внутреннюю поверхность сферы) только небольшого кусочка рассматриваемого пейзажа. Далее, структура границ яркостей и границ цвета каждого кадра превращается в частотно модулированный сигнал и подвергается Фурье-анализу с целью обнаружения только самых важных для мозга деталей. Вся остальная информация об изображении, вероятно, пропадает (не запоминается), а в случае появления необходимости – домысливается мозгом с помощью предыдущих знаний, а также интерполяции поступивших данных об изображении.

Обработанное таким образом изображение пейзажа помещается в память. Увиденная картинка не отображается в голове целиком, а составляется из набора только тех объектов или свойств, которые были важны в момент просмотра. В этот набор входят: суть сцены (общее описание), размещение объектов (или пятен) по сцене и некоторые важные детали опознанных объектов.

Наибольшая разница между двумя этими системами обработки изображений состоит в цели обработки. Зрительная система человека не предназначена для любования пейзажем. Для нее нужно рассортировать элементы пейзажа на важные и неважные и обработать только важные. Таким образом, на выходе фотоаппарата мы имеем попиксельное изображение (фотографию), удобное для просмотра человеком. А «на выходе» зрительной системы человека, то есть в его зрительной памяти, – «разобранное на части» изображение, удобное для анализа структуры картинки и содержащее минимум малосущественных деталей.

Полученная с помощью камеры и распечатанная фотография сделана опять же для человека, который рассматривает ее и снова превращает в разобранную на части картинку, но уже другим образом, с учетом того, что это все-таки не реальный пейзаж, а всего лишь картинка. И, может быть, с учетом того, как понял зритель замысел фотографа.

Поскольку принципы работы сравниваемых систем различны, то приведенные выше цифры трудно сопоставить. Чему ближе соответствует количество пикселей сенсора? Количеству рецепторов сетчатки? Но сигналы от рецепторов не используются напрямую для построения изображения. Они подвергаются структурному анализу и малосущественная часть информации, полученная от сетчатки, пропадает.

Может быть, количеству волокон зрительного нерва (1–1.5 миллиона), по которым визуальная информация передается в мозг? Тоже соответствия нет, потому что по этим волокнам изображение передается в виде серии «частичных» картинок, соответствующих разным положениям проекции на сетчатку относительно фовеа. Да еще и преобразованное в серии нервных импульсов.

Зрительная система человека умеет адаптироваться к условиям наблюдения (яркости, цвету освещения). Цифровые камеры тоже пытаются осуществить баланс белого с помощью разных алгоритмов (рассмотрим в другой главе ниже).

В отличие от фотоаппарата, наблюдаемое изображение в голове находится в виде разных срезов, начиная от выделенных границ и карты движущихся элементов, до распознанных объектов и их значения для наблюдателя. Благодаря наличию прямых и обратных нейронных связей между этими срезами, картинки постоянно уточняются и информация об изображении непрерывно обогащается. Интерпретация картинки высшими слоями зрительной коры сравнивается с картинкой, полученной сетчаткой. И становится ясно, куда надо посмотреть еще и что уточнить. Отсюда – тот большой объем информации, которую можно получить с помощью зрительной системы.

Получив некоторое представление о том, как работает зрительная система человека, перейдем к нашей основной теме – фотографии. Но сначала нужно напомнить суть основных понятий, относящихся к цвету и восприятию цвета человеком. В детали вдаваться не станем, а затронем только то, что будем использовать в остальной части этой книжки. Кто захочет, всегда сможет изучить любой вопрос более глубоко, отталкиваясь от упомянутых здесь терминов и воспользовавшись поиском в интернете.

Во многих случаях, хотя, может быть, и не всегда, художник или фотограф хочет, чтобы цвета его картины или фотографии воспринимались зрителем точно так же, как их видит сам автор. Независимо от того, рассматривается ли изображение в виде твердой копии или в виде картинки на экране. Да еще и независимо от условий просмотра (освещение, фон, геометрия просмотра, окружение), которые могут быть не такими, как у автора. Системы управления цветом в компьютерных программах как раз и призваны решить эту задачу настолько, насколько это возможно. Для понимания сути происходящего необходимо знакомство с азами науки о цвете, которые и излагаются в этой главе.

Конечно, сходные проблемы возникают и в других творческих профессиях. Передача нужного смысла слова (строчки, абзаца) от писателя или поэта к читателю. Передача впечатления от музыкального произведения от композитора к слушателю. В отличие от передачи цвета в последнем случае едва ли возможна какая-то формализация. Слишком многое зависит от культурного уровня и опыта читателя/слушателя. Впрочем, аналогия просматривается очень четко, так что, вероятно, все-таки это будет сделано. Но пока можно считать, что фотографам еще повезло. Или не повезло, смотря как к этому относится.

Как известно, воспринимая видимый свет, человек ощущает его яркость (интенсивность) и еще нечто, называемое «цвет». Интенсивность можно измерить физическим прибором, а цвет – напрямую нет. Но для того, чтобы работать с цветом на компьютере, нужно сначала цвет оцифровать, то есть, каждому видимому цвету поставить в соответствие число (или несколько чисел).

Можно было бы характеризовать цвет видимого излучения его спектральным распределением энергии, которое можно измерить. Тем более что излучение с одним и тем же спектром воспринимается разными людьми с нормальным зрением как имеющее один и тот же цвет. Но в то же время существуют пары излучений с очень разными спектрами, которые человеком воспринимаются как имеющие совершенно одинаковый цвет (явление метамеризма). Кроме этого, ставить в соответствие цвету не числа, а функции, неудобно.

Как оцифровать цвет проще, помогают понять законы Грассмана (Hermann Grassmann), открытые эмпирически еще в 1853 году в экспериментах по смешиванию лучей света разных цветов:

1) цвет трехмерен, то есть одному цвету нужно ставить в соответствие три числа;

2) при непрерывном изменении цвета только одного из смешиваемых лучей цвет смеси тоже меняется непрерывно;

3) цвет смеси зависит только от смешиваемых цветов и не зависит от их спектров.

Отсюда следует, что все видимые цвета должны образовать некоторую непрерывную область (тело) в трехмерном пространстве. Каждая точка этого тела будет соответствовать определенному цвету. Если выбрать два разных цвета и соединить соответствующие им точки отрезком прямой, то этот отрезок будет определять все оттенки, которые можно получить, смешивая эти два цвета. Причем в случае линейного пространства пропорция смеси будет равна отношению длин частей отрезка, на которые цвет смеси делит его.

Поскольку отрезок, соединяющий два любых видимых цвета, содержит только видимые цвета, то он полностью находится внутри тела видимых цветов, а это значит, что это тело должно быть выпукло (без впадин и ямок).

По форме тело видимых цветов похоже на продолговатый фрукт, у которого один бок срезан. Точки поверхности «фрукта» (кроме среза) соответствуют монохромным цветам разной длины волны и разной интенсивности, то есть, имеющим максимальную насыщенность (монохромны, например, цвета радуги). Поверхность «отрезанной» части тела (кроме среза) соответствует «цветам» монохромных инфракрасных и ультрафиолетовых излучений, которые глаз не видит. Если выбрать какой-либо цвет на поверхности тела и понижать его насыщенность, добавляя все возрастающее количество белого цвета, то соответствующая точка начнет перемещаться вглубь тела и в пределе достигнет точки этого белого цвета, которая будет находиться где-то в середине «фрукта». Точки снаружи от поверхности, образованной цветами монохромных излучений, соответствуют «цветам», имеющим насыщенность бо́льшую, чем насыщенность монохромных цветов, что физически невозможно. Для получения такой насыщенности нужно было бы из монохромного цвета вычесть какое-то количество белого цвета, что физика не может сделать. А математика – пожалуйста.

Нейтрально серые цвета образуют линию, проходящую внутри тела видимых цветов и соединяющую самую темную точку (черную) с самой яркой (белой). Возникает важный вопрос, как определить, что такое нейтрально белый, серый и черный цвета. На глаз тут полагаться нельзя из-за хроматической адаптации (привыкнув к любому почти белому цвету, глаз начинает воспринимать его как чисто белый). Поэтому, работая с цветом математически, нужно каждый раз оговаривать, что в данном конкретном случае подразумевается под белым (и, как следствие, серыми и черным цветом). В теории черный цвет (излучение с нулевой интенсивностью) тоже имеет цветность, которую глаз, конечно, не видит.

Одну и ту же трехмерную фигуру (конечно, также как и фигуры любой другой размерности), можно рассматривать в различных координатных системах, линейных и нелинейных. Различные координатные системы, в которых может рассматриваться тело видимых цветов, называются цветовыми пространствами. Один и тот же цвет в разных цветовых пространствах записывается наборами разных чисел. В некоторых из этих пространств можно изобразить только часть видимых цветов и тело приобретает вид куба, конуса, биконуса или другую форму. Линейное преобразование цветового пространства соответствует тому, что мы как-то поворачиваем это тело и изменяем его размер равномерно и пропорционально. Нелинейное преобразование означает, что мы растягиваем или сжимаем тело видимых цветов так, что разные его части сжимаются или растягиваются по-разному.

Различных цветовых пространств (как и систем координат) можно придумать бесконечно много. На практике применяются только те из них, которые обладают некоторыми полезными свойствами. К общим свойствам цветовых пространств (ЦП) относятся:

• цветовой охват;

• линейность по восприятию;

• однородность по восприятию;

• зависимость от устройства;

• нормированность;

• точка белого и точка черного.

Цветовой охват (gamut, гамут, вкусное слово, думаю, оно приживется в русском языке) – это совокупность всех таких видимых цветов, которые могут быть представлены в данном ЦП. Кроме видимых цветов в некоторых ЦП могут быть представлены и физически невоспроизводимые цвета.

Линейность по восприятию (perceptually linear) означает, что изменение координат цвета приводит к изменению воспринимаемого цвета примерно в той же пропорции. Для однородного по восприятию цветового пространства (perceptually uniform), кроме того, близким разностям цветов соответствуют близкие по длине отрезки, соединяющие эти цвета.

Если при определении ЦП используются характеристики конкретного устройства (сканера, монитора, принтера), то такое пространство называется устройство-зависимым (или аппаратно-зависимым). Аппаратно-зависимое ЦП удобно для использования при работе с этим самым устройством. Если ЦП определяется с помощью величин, не связанных с каким-либо конкретным устройством, то оно называется устройство-независимым. Устройство-независимое ЦП предназначено для выполнения общих операций с цветом таких, как редактирование изображений или преобразования из ЦП одного устройства в ЦП другого устройства. Поскольку при этом отсутствуют ограничения, связанные с возможностями какого-либо устройства, то все такие операции могут быть выполнены без потерь.

Цветовой охват аппаратно-независимых ЦП обычно большой и может содержать физически нереализуемые цвета. Но даже если в процессе преобразования получится промежуточное изображение, в котором часть цветов окажутся физически нереализуемыми, при дальнейшей обработке эти цвета могут благополучно (и правильно!) вернуться в область воспроизводимых цветов.

При сравнении цветовых охватов устройств и цветовых пространств часто используется гамут Пойнтера (Michael R. Pointer). Гамут Пойнтера – это аппроксимация совокупности всех таких цветов, которые могут быть получены окрашиванием поверхности. То есть, с помощью вычитания цветов. Гамут Пойнтера является частью множества всех видимых цветов (которое получается сложением цветов).

Нормировку ЦП и выбор точек белого и черного обсудим в следующем параграфе.

Вначале вернемся к вопросу о том, как объективно определить, что такое белый цвет. Для этого рассмотрим поверхность, которая отражает все длины волн видимого света полностью, без поглощения. Осветим такую поверхность излучением, которое имеет постоянный спектр, то есть, интенсивность излучения одна и та же для всех длин волн (физически измеряемая, а не воспринимаемая!). Естественно назвать цвет такой поверхности при таком освещении белым. Но при освещении этой же поверхности лампами накаливания, в первый момент она покажется желтоватой, а затем, после завершения процессов цветовой адаптации зрительной системы, станет казаться опять белой (возможно, с желтоватым оттенком).

Если сфотографировать какую-нибудь сцену, например, интерьер, освещенную некоторым источником света (illuminant, осветитель), и представить полученное изображение в каком-либо цветовом пространстве, то в качестве цветности точки белого этого ЦП нужно выбрать цветность этого источника освещения. Это позволит называть белыми те предметы, которые, как мы знаем, являются белыми, и будет находиться в согласии с восприятием цвета человеком (а именно, с механизмом хроматической адаптации). При этом результат будет соответствовать 100 %-й адаптации зрительной системы человека. Таким образом, чтобы исключить влияние цветности источника освещения на цвета предметов, нужно считать белым цвет источника освещения.

Поскольку в реальности встречается много разных вариантов освещения, то необходимо определить несколько типичных источников. Каждый источник полностью описывается своим спектром. Воспринимаемый цвет источника однозначно вычисляется по его спектру. Некоторым из осветителей можно поставить в соответствие цветовую температуру. Цветовая температура выражается в градусах Кельвина и равна температуре абсолютно черного тела, при которой его спектр излучения наиболее близок к спектру источника освещения. Стандартные источники освещения сгруппированы по сериям, которые обозначаются следующими буквами:

• A (лампы накаливания, 2856 К),

• D (дневной свет),

• E (постоянный спектр),

• F (флуоресцентные лампы),

• L (световые диоды) и другие.

Для фотографов особенный интерес представляет серия D (дневной свет, приведены также координаты цвета в пространстве CIEXYZ, см. ниже):

• D50 (свет горизонта, теплый дневной свет на восходе или закате, 5003 К), CIEXYZ=[0.9642, 1.0000, 0.8251 (или 0.8249)].

• D55 (дневной свет в середине утра или после обеда, 5503К), CIEXYZ= [0.9568, 1.0000, 0.9214].

• D65 (полуденный свет, состоит из прямого солнечного света и рассеянного света от ясного неба, 6504 К), CIEXYZ= [0.9504, 1.0000, 1.0888 (1.0889)].

• D75 (северное небо, пасмурное небо, 7504 К), CIEXYZ=[0.9496, 1.0000, 1.2261].

Цветности источников освещения серии D различаются:

• оттенками от желтого к голубому, учитывающими соотношение облачности и прямого солнечного света,

• оттенками от розового к зеленому, учитывающими наличие в атмосфере воды в виде пара или дымки.

Перейдем к точкам белого и черного цветовых пространств. Есть смысл отдельно рассматривать яркость и цветность этих точек. Если в качестве яркостей этих точек задать предельные значения, воспроизводимые на конкретном устройстве, то полученное ЦП будет аппаратно-зависимым. Цветность точки белого аппаратно-независимого ЦП обычно задается указанием стандартного источника освещения. Для некоторых аппаратно-независимых ЦП точки белого и черного не заданы, и клиппирование (замена цветов, выходящих за гамут, цветом, лежащим на границе гамута, см. ниже), вызванное их существованием, отсутствует.

Для многих реальных устройств цветности точек белого и черного не совпадают. Для мониторов на электронно-лучевой трубке цветность точки белого зависит от цветностей и относительных яркостей люминофоров, а цветность черного – от отражающих свойств поверхности экрана. Для принтера – соответственно, от цветности бумаги и от цветности чернил. Все это приводит к тому, что линия, содержащая нейтрально серые цвета не является прямой, а плавно изгибается во всех трех измерениях цветового пространства.

В ненормированном ЦП значения координат могут являться физически измеряемыми величинами, выраженными в каких-нибудь единицах, например, в канделах на квадратный метр для оси яркости. Такие значения являются абсолютными, то есть, имеющими самодостаточный смысл.

Для нормированного цветового пространства значения координат безразмерны и линейно преобразованы так, чтобы все они укладывались в отрезок значений с удобными для восприятия (и вычислений) границами. Обычно наибольшее возможное значение выбирают равным единице, 100 % или степени двойки без единицы, а наименьшее возможное значение – равным 0 или степени двойки без единицы с минусом (например, –127). Если для ЦП заданы точки белого или черного, то их координаты также могут служить наибольшими и наименьшими возможными значениями. Значения координат нормированного пространства являются относительными. Их смысл зависит еще и от нормировки, то есть, от того, что принято за граничные значения.

Иногда нормировка ЦП делается так, чтобы была разрешена яркость больше, чем яркость точки белого. Этот «запас» яркости используется для отображения бликов.

Цветовой моделью называют способ построения семейства цветовых пространств. Модели эти параметрические, поэтому, чтобы задать конкретное ЦП, входящее в эту модель, нужно задать конкретные значения параметров модели. Поскольку большинство параметров являются действительными числами, для каждой модели можно определить бесконечно много цветовых пространств. Для обработки фотографий чаще всего используются ЦП, входящие в следующие модели (в скобках перечислены параметры):

• цветовая модель RGB: цвет раскладывается на смесь трех базовых цветов: красный, зеленый и синий, и координатами служат коэффициенты этого разложения (параметры: три базовых цвета, точка белого, функция гамма-компрессии, см. ниже);

• цветовая модель CIELAB: одна координата цвета соответствует яркости, две остальные – цветности (параметр: точка белого);

• цветовая модель CMYK: цвет раскладывается на смесь четырех базовых цветов, голубой, лиловый, желтый и черный (параметры: три базовые цвета CMY, точка белого, алгоритм вычисления координат CMYK).

Вопросами, связанными с восприятием цвета, занимается Международная комиссия по освещению (CIE, Commission internationale de l'éclairage). Отсюда – начало аббревиатуры CIELAB и других.

Прежде чем рассматривать конкретные ЦП этих моделей, нужно описать еще два первичных ЦП, с которых все и началось. Поскольку цвет нельзя измерить физическим прибором, а можно только определить с помощью системы «глаз-мозг», то для того, чтобы сопоставить точкам какого-либо ЦП реальные цвета, без экспериментальных данных о восприятии цвета человеком не обойтись.

Поэтому, сначала опытным путем были получены функции, которые каждому монохромному излучению ставили в соответствие тот цвет, который человек видит, наблюдая это излучение. При этом использовались некоторые эталонные красный, зеленый и синий цвета (кардинальные стимулы). Наблюдаемый монохромный цвет записывался в виде трех чисел, равных таким интенсивностям этих эталонных цветов, при которых цвет смеси (на глаз) совпадал с наблюдаемым монохромным. Результаты усреднялись по некоторому числу наблюдателей с нормальным зрением. Интенсивности эталонных цветов были выбраны так, чтобы равные количества стимулов давали белый цвет, определенный стандартом, действующим в то время. В других аналогичных экспериментах использовался несколько иной способ определения интенсивностей эталонных цветов.

Используя полученные функции, оказалось возможным вычислять воспринимаемый цвет для любого спектра видимого излучения (благодаря законам Грассмана). Таким способом было построено CIERGB, первое ЦП, позволившее оцифровать восприятие цвета зрительной системой человека. Для системы CIERGB белым цветом считается цвет гипотетического равноэнергетического источника, который излучает равномерно на всех длинах волн видимого спектра. А координаты CIERGB были отнормированы так, что для цвета этого источника всегда выполнялось равенство R=G=B, смысл которого состоит в том, что белый цвет не должен быть смещен ни к одному из эталонных цветов.

Линейным преобразованием пространства CIERGB было получено ЦП CIEXYZ, которое оказалось более удобным, чем CIERGB, по следующим причинам.

• Координата Y в CIEXYZ выбрана так, чтобы ее значения задавали яркость цвета.

• Каждый из видимых человеком цветов отображается в этом ЦП так, что все три координаты X, Y, Z неотрицательны.

Кроме этого, CIEXYZ, как и многие другие ЦП, обладает следующими полезными свойствами.

• Если выбрать два цвета и соединить их отрезком, то точки этого отрезка будут соответствовать цветам смесей, которые можно получить, смешивая эти два цвета.

• Если выбрать три цвета и соединить их отрезками так, чтобы получился треугольник, то точки внутри треугольника будут соответствовать цветам смесей, которые можно получить, смешивая эти три цвета.

Пространство CIEXYZ не является однородным по восприятию. Двум сильно различающимся цветам могут соответствовать близкие точки и, наоборот, близким цветам могут соответствовать далекие друг от друга точки. Это ЦП не нормировано и координаты оси Y (яркость) измеряются в канделах на квадратный метр. Нормированный вариант CIEXYZ обозначается nCIEXYZ, в нем Y = 1 для точки белого.

Любопытно, что базовыми стимулами для CIEXYZ являются «цвета», которые не только не воспринимает человек, но и которые нельзя получить с помощью излучения с каким бы то ни было спектром. Но для математики, которая, отталкиваясь от физической реальности, описывает объекты, не существующие в природе, это обычное дело. ЦП CIEXYZ широко используется в качестве эталонного как в теории цвета, так и на практике, в чем легко убедиться, продолжая читать эту книжку.

Перейдем к любимой фотографами цветовой модели RGB. Эта модель была предназначена для описания цветов, воспроизводимых типичными дисплеями на электронно-лучевой трубке. И, следовательно, ЦП этой модели являются устройство-зависимыми. Все ЦП этой модели – это определенные области пространства CIEXYZ, получаемые линейным преобразованием и, следовательно, как и CIEXYZ, являются неоднородными по восприятию. Действительно, если изобразить базовые цвета и цветовой охват какого-либо RGB-пространства в более однородном ЦП, таком как CIELAB, то станет видно, что эти базовые цвета обладают разной яркостью и насыщенностью.

В RGB-модели предполагается, что базовыми стимулами являются красный, зеленый и синий цвета, но не уточняется, какие именно. Если уточнить (и задать остальные параметры модели), то получим конкретное RGB-пространство. Пока уточнение не сделано, координаты цвета являются относительными, измеренными относительно базовых (неизвестных) цветов. В противном случае координаты цвета являются абсолютными, и такое RGB-пространство тоже называется абсолютным.

Другим параметром этой модели является точка белого, которая задает тот оттенок белого, который в этом ЦП будет считаться чисто белым. Если все три координаты равны, то для любого ЦП этой модели получим серый цвет, цветность которого равна цветности заданной точки белого, а яркость тем больше, чем больше это одинаковое значение координат. Все RGB-пространства нормированы так, что точка черного задается координатами {0, 0, 0}, а точка белого – {100 %, 100 %, 100 %}. Вместо 100 % может быть 255, 65535 и так далее, в зависимости от глубины цветности.

Последним параметром этой модели является функция гамма-компрессии. Такая функция описывает опять же свойство электронно-лучевой трубки: яркость пятна на экране примерно пропорциональна напряжению на электродах в степени 2.2. Если требуется, чтобы яркость пятна была пропорциональна значению rgb-координаты, то нужно каждое значение rgb-координаты предварительно возвести в степень 1/2.2. Это и будет функция гамма-компрессии. Разные RGB – пространства могут иметь функции сжатия с разными значениями гамма, не обязательно 2.2. Для случая отсутствия гамма-сжатия можно считать, что величина гамма равна единице. Применение гамма-компрессии приводит к повышению детализации в тенях за счет уменьшения таковой в светлых частях изображения, но об этом ниже.

Рассмотрим конкретные ЦП этой модели.

Пространство sRGB (standard RGB) определено стандартом IEC 61966–2–1, который фиксирует следующие величины параметров RGB-модели:

• конкретные базовые цвета в координатах CIEXYZ, которые примерно соответствуют цветам люминофоров, применяемых в типичных дисплеях на электронно-лучевой трубке;

• точку белого, соответствующую дневному свету D65;

• функцию гамма-компрессии, состоящую из линейной части в окрестности нуля и экспоненциальной части с гамма 2.4 вне этой окрестности, что в целом приблизительно соответствует гамме 2.2 на всем интервале.

Это ЦП полезно тем, что его цветовой охват примерно равен цветовому охвату типичного монитора на электронно-лучевой трубке. sRGB отлично подходит для изображений, предназначенных для интернета или для принтеров невысокого качества. В отличие от других RGB-пространств sRGB иногда называют независимым от устройства. Наверно, потому, что оно опирается на характеристики не одного, а целого класса устройств.

В тех случаях, когда есть файл изображения, но неизвестно, в каком из цветовых пространств даны его координаты, принято считать по умолчанию, что используется sRGB. К сожалению, разные компьютерные программы понимают под sRGB не совсем одно и то же. Если это критично, то в таких случаях всегда лучше принудительно использовать одно и то же определенное описание sRGB, взятое, например, из пакета файлов программы ArgyllCMS или программного обеспечения камер Canon (оба источника считаются точными).

Пространство Adobe RGB (1998) было создано с целью расширить цветовой охват sRGB так, чтобы в него вошли цвета, воспроизводимые на современных принтерах (в основном, в области светлых зеленых и голубых тонов). Пространство Adobe RGB отличается от sRGB тем, что зеленый базовый стимул отодвинут дальше от точки белого (становятся доступны более светлые значения зеленого, чем в sRGB) и используется более простая формула гамма-компрессии (без линейного участка). В результате Adobe RGB охватывает примерно 50 % видимых цветов, отображаемых в CIELAB (а sRGB – только 35 %). Это ЦП подходит для мониторов с широким цветовым охватом и для коммерческой печати. sRGB и Adobe RGB также используются в качестве рабочих пространств графических редакторов.

Пространство ProPhoto RGB или ROMM RGB (Reference Output Medium Metric, гамма = 1.8) используется при обработке фотоизображений высокого качества, особенно для печати на принтерах с широким цветовым охватом. Цветовой охват ProPhoto очень большой, более 90 % цветов, возможных в CIELAB, и практически 100 % цветов, встречающихся в реальном мире. Базовые цвета в ProPhoto выбраны так, чтобы минимизировать изменение цветности при нелинейных преобразованиях яркости. Расплачиваться за широкий охват пришлось тем, что около 13 % точек в нем являются псевдоцветами, то есть, не соответствуют реальным цветам. Использование ProPhoto RGB в качестве рабочего пространства графического редактора требует осторожности, так как для этого нужна большая глубина цветности и монитор с широким гамутом (иначе – работа вслепую).

Пространство scRGB использует те же самые базовые цвета и точки белого и черного, что и sRGB, но значения координат в нем могут больше единицы и меньше нуля (от -0.5 до примерно +7.5). Благодаря этому scRGB содержит бо́льшую часть цветов XYZ (кроме светлых зелено-голубых) и совместимо с sRGB. Кроме того, scRGB позволяет представлять изображения с диапазоном яркостей большим, чем это возможно в sRGB. Хотя и меньшим, чем в цветовых пространствах, предназначенных специально для HDR-изображений. Но цена этого удовольствия состоит в том, что около 80 % цветов scRGB нереализуемы физически. Для scRGB определены две кодировки: 12 бит на канал и 16 бит на канал. Это пространство используется в некоторых компонентах операционной системы Windows 7 (Direct3D, Windows Color System и другие).

Пространство RIMM RGB (Reference Input Medium Metric) предназначено для использования в качестве устройство-независимого пространства для обработки исходных raw-изображений, полученных с помощью обычных входных устройств, таких как цифровые камеры и сканеры. Изображения, закодированные в этом пространстве, могут быть помещены в архив в качестве исходных, не подвергавшихся редактированию (изменению цвета). Определены кодировки 8, 12 и 16 бит на канал. Базовые цвета в RIMM RGB те же, что и в ROMM RGB, которое, напомню, предназначено для редактирования изображений, уже переведенных из raw-формата (подвергавшихся редактированию).

В RIMM RGB предполагается, что цвета сцены воспринимаются при определенных условиях просмотра, в качестве которых выбраны типичные условия съемки на природе (точка белого D50, яркость не менее 1,600 кд/м² и так далее). Это, конечно, не означает, что снимать нужно именно при таких условиях. Способ кодировки значений координат цвета для RIMM RGB задан исходя из свойств «обобщенного» входного устройства (базовые цвета, точки белого и черного и другие).

RGB-пространства могут быть преобразованы к полярным координатам. Целью такого преобразования является попытка приписать координатам цвета более понятный смысл, чем R, G, B, а именно: тон, насыщенность и яркость. Представить наглядно, как это делается, поможет следующее рассуждение. Возьмем какое-либо RGB-пространство. Напомню, что это – куб, в котором нейтрально серые цвета расположены на диагонали из вершины {0, 0, 0} в вершину {100 %, 100 %, 100 %}. Повернем этот куб так, чтобы эта диагональ стала вертикальной, а черная вершина куба оказалась внизу. Нелинейным преобразованием «скруглим» куб, чтобы он превратился в биконус. Получим цветовое пространство HSL. Остальные ЦП этой серии получаются другими нелинейными преобразованиями куба RGB, стоящего на вершине {0, 0, 0}.

Поскольку для перехода от RGB к полярным координатам используются примитивные формулы, не учитывающие особенности восприятия цвета человеком, то свойства полученных координат сильно отличаются от заявленных. Так, например в пространстве HSV (hue, saturation, value или HSB, brightness) среди точек, имеющих 100 %-е насыщение, светлые точки кажутся гораздо менее насыщенными, чем темные. В пространстве HSL (L – lightness) насыщенность фактически определена как доля от наибольшей насыщенности, возможной при данной яркости. Насыщенные желтый и голубой цвета, имеющие в этих пространствах одинаковые значения координат «яркость» и «насыщенность», на глаз воспринимаются как цвета с разной яркостью.

Для пространства HSV максимально увеличить координату V для какого-нибудь цвета означает получить самый яркий цвет для данной пары тон-насыщенность. Для пространства HSL максимально увеличить координату L означает получить белый цвет, независимо от значений остальных координат.

Такие «странности» приводят к тому, что вместо этих пространств стараются использовать цветовую модель CIELAB. Особенно тогда, когда важно четко отделить цветность от яркости.

В пространствах HSV, …сохраняется неоднородность по восприятию, присутствующая в исходных RGB-пространствах. Для того чтобы точно определить цвет, выраженный в координатах этих пространств, необходимо знать свойства того RGB-пространства, от которого они произведены (базовые цвета, точку белого и формулу гамма-коррекции).

В заключение приведем таблицу, содержащую значения некоторых параметров модели RGB для перечисленных выше цветовых пространств. В таблице даны значения координат CIEXYZ, пересчитанные по формулам x=X/(X+Y+Z), y=Y/(X+Y+Z).

На этом закончим краткий обзор модели RGB. Скажем еще, что существуют устройства, использующие цветовые модели с количеством базовых стимулов большим трех. Например, модели RYGB и RYGCB (в телевизорах фирмы Шарп). Гамут последней цветовой модели покрывает 99 % гамута Пойнтера.

В цветовой модели CIELAB сделана попытка учесть особенности восприятия цвета человеком. Все пространства этой модели получены определенным нелинейным преобразованием пространства CIEXYZ, подобранным так, чтобы улучшить соответствие тому, как человек воспринимает разности цветов. То есть, пространства CIELAB являются более однородными по восприятию, чем CIEXYZ и CIERGB. Другими словами, в CIELAB воспринимаемое различие между двумя близкими цветами приблизительно пропорционально расстоянию между соответствующими точками. Пространство CIELAB иногда записывается в виде L*a*b* с тем, чтобы подчеркнуть его отличие от цветового пространства Lab, которое было придумано Хантом ранее.

В модели CIELAB используется один параметр: точка белого. Иногда аббревиатура CIELAB означает не модель, а пространство с точкой белого, равной D50. Полезность пространства CIELAB объясняется следующими свойствами.

• Яркость (координата L*) отделена от цветности (координаты a* и b*). Поэтому манипулирование с яркостью и контрастом практически не затрагивает цветность. И наоборот.

• CIELAB является более однородным по восприятию, чем sRGB.

• Цветовой охват CIELAB включает в себя цветовые охваты sRGB, Adobe RGB и CMYK.

• Это пространство является устройство-независимым. То есть, цвета определены без учета возможностей какого-либо устройства, на котором они воспроизводятся или с помощью которого они считываются. Если же в качестве точки белого выбрана самая яркая точка, которую может воспроизвести какое-нибудь устройство, то такое пространство LAB уже окажется устройство-зависимым.

Это пространство нормировано: L*=0 для точки черного и L*=100 для точки белого. Для нейтрально серого цвета a*=0 и b*=0. CIELAB-пространства тоже могут быть представлены в полярных координатах, например, CIELCH.

Пространство CIELAB удобно использовать в качестве промежуточного формата для аппаратно-зависимых пространств. Из-за большого цветового охвата CIELAB все преобразования в нем следует проводить с глубиной цветности не менее, чем 16 бит на канал.

Другими примерами пространств, в которых яркость отделена от цветности, служат пространства, используемые при описании модели восприятия цвета CIECAM02. Модели CIECAM02 посвящен отдельный параграф ниже.

Перейдем к цветовой модели CMYK (произносится «смик»), которая моделирует отображение цветов принтерами и обычно является аппаратно-зависимой. Каждая тройка чернила-принтер-бумага в рамках этой модели может иметь свое собственное цветовое пространство. Смысл числовых значений координат CMYK по сравнению с RGB обратный: 0 – это максимальное количество цвета данного канала, 255 для 8-битной глубины цветности – это отсутствие цвета данного канала. Если преобразование RGB-координат в CMY-координаты элементарно простое, то пересчет из CMY в CMYK можно выполнить по-разному. Один из простейших вариантов: {C, M, Y} – > { K = min(C, M, Y), C – K, M – K, Y – K, }. Реальные варианты гораздо сложнее и учитывают многие характеристики чернил, бумаги, оборудования и даже температуру и влажность воздуха возле печатной машины.

В пространстве CMY нейтральные цвета определены как C = M = Y. В пространстве CMYK – как C = M = Y = 0.

Распечатанное изображение гораздо сильнее зависит от условий просмотра, чем изображение на экране монитора. Чтобы вычислить видимый цвет малого кусочка картинки, нужно взять спектр источника освещения и умножить его на спектральные коэффициенты отражения чернил, которыми закрашен этот кусочек, и просвечивающей сквозь них бумаги. Полученный спектр отраженного от этого кусочка света и позволит определить искомый цвет, воспринимаемый человеком. Усложняет дело то, что, если заменить источник освещения другим, имеющим тот же самый цвет, но другой спектр (метамерный), то видимый цвет кусочка может измениться!

Цветовой охват CMYK для обычных принтеров больше цветового охвата sRGB (в светло-голубых и светло-зеленых тонах), но меньше цветового охвата Adobe RGB (1998).

Четырехцветная печать CMYK не всегда может отобразить светлые насыщенные цвета. Поэтому часто используют шестицветную печать CcMmYK и даже еще более многоцветную.

После того как были определены цветовые пространства, нужно объяснить, как преобразовывать изображения из одного цветового пространства в другое. В процессе компьютерной обработки неизбежно приходится это делать, явно или неявно. Так, картинка, полученная сканером или цифровой фотокамерой, представляет собой множество точек (пикселей), координаты которых даны в цветовом пространстве данного устройства. Эта картинка преобразуется в независящее от устройства рабочее цветовое пространство графического редактора. Затем, для просмотра – в цветовое пространство монитора. И, наконец, после обработки в редакторе – в цветовое пространство принтера. Если эти преобразования не делать, то камера запишет в файл одни цвета, монитор покажет другие, а принтер напечатает третьи, несмотря на то, что во всех трех случаях числовые значения координат цвета в файле будут одними и теми же. И останется только надеяться, что все три цветовых пространства не будут сильно различаться.

Но, как правило, цветовые охваты входного и выходного цветового пространства далеко не одинаковые. Например, как уже многократно упоминалось, некоторые светлые зелено-голубые оттенки обычный струйный принтер может воспроизвести, а обычный монитор – нет. Поэтому при переходе сохранить все цвета не удастся, и нужно решить, чем можно будет пожертвовать и каким образом.

Чтобы определить, каким цветом выходного пространства изобразить данный цвет входного (то есть, задать gamut mapping, соответствие цветовых охватов), таблицу соответствия, конечно, не составляют. Вместо этого задают алгоритм такого преобразования (это еще называется «вид колориметрического отображения» или «тип цветопередачи», rendering intent).

Для обработки пейзажей важны два следующих алгоритма преобразования цветовых пространств: перцептивный и колориметрический. Первый пытается сохранить общий вид картинки в ущерб точности цветов. Второй, наоборот, пытается точно воспроизвести цвета, даже если при этом общий вид картинки пострадает.

Колориметрических алгоритмов тоже два: относительный (относительно точки белого среды, то есть, бумаги, экрана монитора, пленки слайда или виртуальной среды аппаратно-независимого ЦП) и абсолютный. Абсолютный старается передать цвета без каких-либо изменений, а относительный – изменяет цвета так, чтобы точка белого входного пространства изображалась цветом точки белого выходного пространства.

В первом приближении эти алгоритмы можно описать так (для случая, когда цветовой охват выходного пространства меньше).

Перцептивное, или воспринимаемое, отображение равномерно (или S-образно) сжимает входное цветовое пространство так, чтобы оно целиком вошло в выходное. При этом изменяются все цвета, даже и те, которые входят в оба пространства и, вообще говоря, могли бы не изменяться при преобразовании. Сделано это для того, чтобы сохранить соотношение для всех цветов, а не только для воспроизводимых в выходном пространстве. Если не сжимать все цвета входного пространства, то чтобы «втиснуть» в выходное пространство новые цвета не было бы места. Таким образом, при перцептивном отображении сохраняется правильное соотношение между всеми цветами входного пространства, но теряется идентичность цветов из общей части обоих пространств (при переходе такие цвета тоже изменяются).

Сохранение соотношения всех цветов означает, что для любых двух цветов выполняется следующее:

• если до преобразования один цвет был светлее другого, то и после преобразования он останется светлее, хотя яркость обоих цветов может измениться;

• если до преобразования один цвет был насыщеннее другого, то и после преобразования он останется насыщеннее, хотя насыщенность обоих цветов может измениться;

• если до преобразования один цвет был, например, зеленее другого, то и после преобразования он останется зеленее, хотя цветовой тон обоих цветов может измениться.

При сжатии ЦП, контраст и насыщенность всегда падают. S-образное сжатие позволяет лучше (по сравнению с линейным случаем) сохранить контраст в средних тонах. Но за счет еще большего уменьшения контраста в темных и светлых частях изображения.

Разумеется, если выходное пространство больше входного, то перцептивное отображение растягивает входное цветовое пространство, а контраст и насыщенность при этом возрастают.

Все это только в первом приближении. В идеале перцептивное отображение должно использовать цветовой охват не всего входного пространства, а гамут конкретного изображения, представленного в этом пространстве. Последний часто существенно меньше, и требует меньшего сжатия и, следовательно, не такого сильного уменьшения насыщенности и контраста.

На практике перцептивное отображение использует некоторую промежуточную степень сжатия ЦП, которая зафиксирована в профиле соответствующего устройства. Такую степень каждый автор профиля определяет по-своему, исходя из цветового охвата устройства и некоторой оценки того цветового охвата, который обычно встречается в фотографиях.

Относительное колориметрическое отображение преобразует яркости линейно и так, чтобы точка белого входного пространства попала в точку белого выходного пространства. Таким образом, детали светлых частей изображения не будут потеряны, но за счет ухудшения других цветов. Так, если точка белого выходного пространства темнее, то и вся картинка станет темнее, и может произойти потеря деталей в тенях. Если цветности точек белого входного и выходного пространств разные, то цвета входного пространства изменяются соответственно. Например, если точка белого выходного пространства голубее, то все цвета входного пространства смещаются в голубую сторону.

Для того чтобы смягчить недостатки относительного отображения, применяют «компенсацию точки черного». Идея этого алгоритма состоит в том, чтобы с помощью линейного (или нелинейного) преобразования цвета в области теней добиться того, чтобы, дополнительно, точка черного входного пространства попала в точку черного выходного пространства. Таким образом, детали сохраняются и в светлых и в темных частях изображения, но падает общий контраст и насыщенность.

В том случае, когда точка черного выходного пространства светлее точки черного входного пространства, тени получаются светлее, а цвета в тенях менее насыщенными. В этом случае результат применения этого алгоритма можно представить как добавление небольшого количества белого цвета ко всем или только к темным цветам картинки (эффект тумана). Или вычитание (туман рассеялся), если точка черного выходного пространства темнее.

А что происходит с цветностью? В отличие от перцептивного отображения, при относительном отображении идентичность цветов из общей части обоих пространств сохраняется, но только в относительном смысле, относительно точки белого. Например, точка белого бумаги часто более желтая, чем точка белого монитора. Выравнивание точек белого приведет к тому, что области фотографии, выглядящие белыми на мониторе, будут напечатаны желтоватыми и все остальные цвета сдвинутся в желтую сторону на величину, равную разности между этими двумя точками белого. Кроме этого, поскольку в выходном пространстве нет места для цветов входного пространства, отсутствующих в выходном, то такие цвета заменяются наиболее близкими к ним цветами выходного пространства (например, с помощью понижения насыщенности). В результате происходит клиппирование цвета, то есть, два разных цвета входного пространства могут перейти в один и тот же цвет выходного пространства.

Если печатать картинку на бумаге разного оттенка с помощью относительного отображения, то принтер будет в каждом случае использовать одно и то же количество чернил для соответствующих точек изображения. Плотность красок будет одна и та же, но картинки, размещенные рядом друг с другом, могут выглядеть по-разному, потому что глаза не смогут одновременно адаптироваться к разным цветам бумаги и будут воспринимать цвета картинки в сумме с цветом бумаги. Если картинки сравнивать по очереди, так, чтобы глаза успевали переадаптироваться, то обнаружить разницу будет труднее.

Абсолютное колориметрическое отображение полностью сохраняет идентичность цветов из общей части обоих пространств, не учитывая различие точек белого и черного. В рассмотренном выше примере цвета, воспроизводимые и на мониторе и на принтере, будут напечатаны без изменений. Цвета, невоспроизводимые на принтере, будут клиппированы. В частности, области фотографии, выглядящие белыми на мониторе, будут напечатаны белыми, если белый цвет воспроизводится на принтере с желтоватой бумагой. Если же нет, то белый цвет будет клиппирован (например, заменен на желтоватый).

Если нужно посмотреть на экране монитора, как будет выглядеть эта же картинка, напечатанная на бумаге, то какое отображение следует использовать? Для простоты рассмотрим случай, когда цветовой охват картинки полностью вписывается в цветовой охват монитора. В случае абсолютного колориметрического отображения на экране воспроизведется желтоватый цвет бумаги, а для относительного – нет.

Абсолютное колориметрическое отображение используется, в частности, для того, чтобы напечатать картинку на одном принтере так, чтобы она выглядела так же, как если бы была напечатана на другом принтере или на печатной машине. При этом, если точка белого входного пространства темнее точки белого выходного, то белые области изображения будут напечатаны темнее, чем точка белого выходного пространства. При данном отображении, в отличие от относительного, могут возникать границы между пустым пространством (полями) и белыми областями картинки.

Если печатать картинку на бумаге разного цвета с помощью абсолютного отображения, то принтер учтет разные точки белого и будет использовать разные количества чернил для соответствующих точек изображения. Плотность красок будет разная, но картинки, размещенные рядом друг с другом, могут выглядеть одинаково.

Чтобы наглядно продемонстрировать разницу между двумя видами колориметрического отображения, я подкорректировал профиль принтера так, чтобы сместить точку белого в сторону желтого цвета. Точка белого в профиле была задана в пространстве CIEXYZ, поэтому я уменьшил значение координаты Z. На рисунке 2.1 показана получившаяся точка белого и результаты имитации распечатки принтера на экране монитора (softproof), для двух видов колориметрического отображения (река Немда, недалеко от города Советск, Кировская область).

Рис. 2.1. Имитация распечатки принтера на экране монитора с использованием разных колориметрических отображений: а) точка белого, заданная в профиле; б) абсолютное колориметрическое; в) относительное колориметрическое. Получено с помощью программы RawTherapee (пояснения в тексте).

Видим, что относительное колориметрическое отображение построило картинку относительно точки белого монитора, что привело к исчезновению влияния точки белого для принтера.

Так какой же вариант колориметрического отображения выбрать? Ответ на этот вопрос зависит от разных факторов:

• от цветового охвата конкретного изображения,

• от цели обработки изображения (нужного уровня цветовоспроизведения, см. ниже).

Например, если цвета, которые были бы клиппированы при относительном отображении, составляют незначительную часть данной картинки, и детали в этих цветах несущественны, то, возможно, следует выбрать именно этот вид отображения.

Понимая свойства колориметрических отображений, можно предвидеть (и подтвердить экспериментально), что произойдет с конкретным изображением. Упрощая, можно сказать, что перцептивное отображение изменяет все цвета, но сохраняет то, как изображение воспринимается, а колориметрическое сохраняет некоторые цвета, а другие портит. Перцептивное отображение вписывает изображение в цветовой охват и диапазон яркостей выходного пространства, а колориметрическое копирует цвета (для относительного – с учетом разницы между точками белого), которые находятся внутри цветового охвата выходного пространства, и минимальным образом искажает цвета, которые находятся вне его. Перцептивное отображение создает визуально-комфортное изображение, например, насыщенность может быть повышена, если выходное ЦП это позволяет. Перцептивное отображение используется, когда нужно правильно изобразить плавные переходы и градиенты цвета на границе цветового охвата выходного пространства. Колориметрическое (оба варианта) используется тогда, когда важнее обеспечить тождественность цветов. Но при этом не используются дополнительные цвета выходного ЦП (если они есть) и может произойти клиппирование цвета.

Если точки белого входного и выходного ЦП совпадают, то оба колориметрических отображения дадут одинаковый результат.

Если цветовой охват принтера очень большой (например, как у принтера Canon imagePROGRAF PRO-500, использующего 11 видов чернил), то абсолютное колориметрическое отображение может дать более точную цветопередачу для фотографий.

Одним из подходов к повышению качества алгоритмов преобразования цветовых охватов состоит в том, что для одного ЦП задают многооболочечный цветовой охват (multishelled), состоящий из нескольких вложенных друг в друга цветовых охватов: справочного или типового (reference gamut), правдоподобного (plausible gamut) и возможного (possible gamut). И алгоритмы сопоставления цветовых охватов применяют разные правила для разных областей, на которые эти оболочки разбивают ЦП. Например, типовой гамут может иметь точку белого темнее точки белого правдоподобного гамута. Первая используется для чисто белого цвета, а вторая – для изображения бликов. Аналогично точка черного типового гамута может использоваться в качестве предела при изображении деталей в тенях, а точка черного правдоподобного гамута быть еще темнее.

Как определить, что нужно сделать с цветом конкретной фотографии, что можно, а что нельзя? Различают несколько вариантов подхода к решению этой проблемы. Выбор конкретного варианта (уровня цветовоспроизведения), естественно, зависит от того, как будет в дальнейшем использоваться изображение. Возможны следующие уровни цветовоспроизведения:

• произвольное (как получится),

• визуально-комфортное (приятное на вид, pleasing color reproduction),

• колориметрическое (используются калибровка и профилирование, условия просмотра одинаковы, см. следующий параграф),

• по восприятию (колориметрическое с учетом разных условий просмотра),

• приоритетное (целенаправленная манипуляция цветом ради достижения нужного эффекта, color preference reproduction),

• оптимальная репродукция: максимальное сохранение цветового тона, минимальное масштабирование светлоты с сохранением отношений и среднего уровня, масштабирование насыщенности с сохранением отношений.

В пейзажной фотографии чаще всего применяют визуально-комфортное и приоритетное цветовоспроизведение. Но повышение насыщенности и контраста в целях визуально-комфортного цветовоспроизведения является в то же время и частичным учетом разницы в условиях просмотра реального пейзажа и отпечатка фотоснимка, то есть цветовоспроизведением по восприятию.

Визуально-комфортному цветовоспроизведению способствует, помимо всего прочего, и применение формальных правил типа «правила третей» или правила «60–30–10». Последнее правило используется дизайнерами и состоит в том, что доминантный цвет должен занимать 60 % площади картинки, а два акцентирующих цвета – соответственно 30 % и 10 %. Не знаю, применимо ли это правило к снимкам пейзажей. Скажем, зелень – 60 %, синее небо – 30 % и что-нибудь необычное – 10 %?

Колориметрические отображения, описанные в предыдущем разделе, определяли способ преобразования одного цветового пространства в другое. Модели восприятия цвета (color appearance model) используются для описания преобразования цвета с учетом не только разных цветовых охватов используемых пространств и разных точек белого, но и еще двух обстоятельств:

• условий просмотра конечного изображения (viewing conditions),

• возможного целенаправленного изменения цвета изображения (image preference adjustments).

Под целенаправленным изменением цвета изображения подразумевается намеренное искажение цвета для того, чтобы получить нужный эффект. Для пейзажей часто усиливают насыщенность оттенков, зелень листвы, синеву неба. В этих случаях считают более важным добиться желаемого впечатления, нежели воспроизвести реальные цвета.

К условиям просмотра относятся:

1) спектральное распределение энергии источника освещения (при просмотре),

2) уровень фотометрической яркости изображения, фона и окружения,

3) размер цветного образца, расстояние и геометрия просмотра,

4) степень адаптации зрительной системы наблюдателя.

То, какой цвет человек видит, рассматривая предмет, определяется не только спектральным распределением энергии отраженного света, но и размером, формой, структурой предмета, фоном, а также состоянием адаптации зрительной системы наблюдателя и его личным опытом предыдущих наблюдений этого предмета. Для того чтобы уменьшить влияние условий просмотра, художники, в частности, используют серый холст, а графические редакторы – темно-серый фон.

Кроме перечисленного на восприятие изображения оказывает влияние посторонний свет, отраженный от поверхности картинки (veiling glare), например, отблеск, вызванный глянцем. Такой отблеск осветляет и уменьшает контраст темных частей картинки.

Обнаружено много ситуаций, в которых воспринимаемый цвет, яркость, и другие свойства отличаются от фактических. Например:

• симультанный контраст (simultaneous contrast): изменение воспринимаемой яркости и цветового тона при изменении яркости и цвета фона;

• эффект Бецольда-Брюкке (Bezold-Brucke): изменение воспринимаемого цветового тона при изменении фотометрической яркости (luminance);

• эффект Эбнея (Abney): изменение воспринимаемого цветового тона при изменении насыщенности (например, при добавлении белого цвета);

• эффект Ханта (Hunt): увеличение воспринимаемой полноты цвета (colorfulness) с увеличением фотометрической яркости;

• эффект Стивенса (Stevens): увеличение воспринимаемого контраста (brightness contrast) с увеличением фотометрической яркости;

• эффект Бартлесона-Бренемана (Bartleson-Breneman): воспринимаемый контраст уменьшается при затемнении окружения (surround);

• эффект размера (color size effect): воспринимаемая яркость и цветность (lightness and chroma) увеличиваются с ростом размера цветового образца;

• эффект Гельмгольца-Кольрауша (Helmholtz—Kohlrausch): воспринимаемая яркость возрастает с ростом насыщенности.

Воспринимаемая яркость очень сильно зависит от степени адаптации зрительной системы к (изменившейся) яркости освещения. Если яркость освещения возросла, говорят об адаптации к свету, то есть, об уменьшении чувствительности зрительной системы. Если яркость освещения, наоборот, уменьшилась, говорят о темновой адаптации, то есть, об увеличении чувствительности. Темновая адаптация происходит медленнее, чем адаптация к свету. Минимальный отрезок времени, необходимый для адаптации к данным условиям просмотра (не экстремальным) – 60 секунд. Максимальная чувствительность достигается после темновой адаптации в течение часа или даже более.

Модель восприятия цвета состоит из трех частей:

1) блок хроматической адаптации оценивает воспринимаемый цвет с учетом условий просмотра;

2) нелинейное преобразование из XYZ-пространства в некоторое более однородное цветовое пространство;

3) вычисление оценок воспринимаемых параметров таких, как яркость, цветовой тон, насыщенность и других.

Для того чтобы учесть влияние условий просмотра на воспринимаемые цвета, необходимо использовать модель восприятия цвета и осуществлять обработку изображений по следующей схеме.

1) Картинка, полученная сканером или цифровой фотокамерой, преобразуется в независящее от устройства цветовое пространство, например, CIEXYZ или CIELAB. При этом используются профили устройств и цветовых пространств (см. следующую главу).

2) Затем результат преобразуется в независящее от условий наблюдения (на мониторе) рабочее цветовое пространство графического редактора, например, ProPhoto. На этом шаге используется профиль монитора и модель цветового восприятия, учитывающая условия просмотра на мониторе.

3) Далее, после обработки в редакторе, происходит преобразование в новое аппаратно-независимое цветовое пространство, полученное с учетом условий просмотра отпечатка, напечатанного на принтере. На этом шаге используется модель цветового восприятия, учитывающая новые условия просмотра.

4) И, наконец, результат преобразуется в цветовое пространство принтера, например, CMYK, с использованием профиля принтера.

Ценность модели восприятия цвета состоит в том, что с ее помощью возможно вычислить (предсказать) цвета так, как человек воспринял бы их при заданных условиях просмотра. Кроме того, поскольку в этих моделях используются однородные цветовые пространства, то их можно использовать для оценки воспринимаемых различий в цветах.

Ключевое отличие моделей восприятия цвета от цветовых пространств заключается в том, что при изменении цвета источника освещения координаты цвета освещаемого предмета в этих пространствах изменяются. В то время как модель восприятия цвета дает один и тот же цвет независимо от цвета источника освещения.

При преобразовании изображения из одних условий просмотра в другие, возникает такая же проблема, как и при преобразовании цветовых пространств: некоторые цвета, видимые при одних условиях просмотра (например, при ярком освещении), нельзя воспроизвести при других (например, при слабом освещении). Поэтому, вообще говоря, необходимо задавать соответствие, аналогичное гамут-мэппингу.

Цветовой охват многих, если не всех, устройств также зависит от условий просмотра.

Рассмотрим вкратце модель восприятия цвета CIECAM02, которая сегодня используется в ряде программ обработки изображений (RawTherapee и других), а также в операционной системе Windows 10. С помощью этой модели можно вычислить, как будет восприниматься заданный цвет при заданных условиях просмотра. При этом модель пытается воспроизводить некоторые из оптических иллюзий, описанных в предыдущем параграфе.

На входе модели задают цвет исследуемого образца, цвет источника освещения и условия просмотра:

• цвет исследуемого образца в координатах CIEXYZ;

• точку белого для источника освещения в координатах CIEXYZ;

• фотометрическую яркость адаптирующего поля, то есть, фона;

• фотометрическую яркость окружения в терминах «среднее» (для рассматривания отпечатков), «тусклое» (для мониторов) и «темное» (для слайдов);

• имеет ли место константность цвета (произошла ли адаптация наблюдателя к цвету освещения, например, «да» для рассматривания отпечатков, «нет» для мониторов).

Геометрия просмотра:

• цветовое пятно – поле зрения 2 градуса;

• фон – поле зрения 10 градусов (вне цветового пятна);

• окружение (среда) – вся остальная комната или пространство.

На выходе модели можно получить следующие характеристики воспринимаемого цвета, соответствующего входному:

• субъективная яркость (Brightness) – кажущаяся яркость рассматриваемой области при данном освещении и окружении; увеличивается при увеличении яркости освещения;

• светлота (Lightness) – кажущаяся яркость рассматриваемой области по сравнению с кажущейся яркостью аналогично освещенной поверхности, воспринимаемой как белая; не зависит от яркости освещения;

• полнота цвета (Colourfulness) – свойство ощущения, согласно которому рассматриваемая область воспринимается как более или менее цветная; увеличивается при увеличении яркости освещения;

• насыщенность (Chroma) – полнота цвета по сравнению с кажущейся яркостью аналогично освещенной поверхности, воспринимаемой как белая; не зависит от яркости освещения;

• чистота цвета (Saturation) – полнота цвета области просмотра по сравнению с кажущейся яркостью этой же области;

• цветовой тон (Hue) – свойство ощущения, согласно которому рассматриваемая область воспринимается как подобная одному (или комбинации двух) из следующих цветов: красному, желтому, зеленому и синему.

CIECAM02 использует модель смены хроматической адаптации (chromatic adaptation transform) CIECAT02. С помощью этой модели можно, например, определить, как будут выглядеть цвета фотографии при освещении ее лампами накаливания или при дневном освещении. Или при изменении цветов окружающего пространства, например, цвета стен выставочного зала.

В модели CIECAM02 используются разные цветовые пространства, в том числе и CIECAM02 Jab, которое является более перцептуально однородным, чем CIELAB (другими словами, разности цветов в пространстве CIECAM02 Jab лучше соответствуют воспринимаемым различиям цветов).

Формулы, лежащие в основе модели CIECAM02, подобраны эмпирически. Они сложны, громоздки и существуют в нескольких версиях. Кроме того, эта модель (и ее обновленная версия CAM16) не работает для некоторых вариантов входных данных. Возможно, это говорит о том, что реальные процессы, происходящие при восприятии цвета у человека, проще описываются математически в каких-то других терминах, а не в тех, которые использованы в CIECAM02.

Если модели цветового восприятия описывают перцепционные атрибуты (светлоту, субъективную яркость, полноту цвета, насыщенность и цветовой тон), то модели восприятия изображений (image appearance models), дополнительно, описывают резкость, контраст и разрешение. Основная идея, заложенная в модель iCAM, заключается в том, чтобы сначала выделить в изображении те части, к которым зрительная система человека наиболее чувствительна. А затем с учетом условий просмотра применить к ним попиксельно модели хроматической адаптации, взятые из CIECAM02. Далее к этим частям изображения применяется тональное сжатие и, наконец, восстанавливаются те части, которые были удалены на первом шаге этого процесса. Таким образом, модель iCAM учитывает не только условия просмотра, но и локальные характеристики изображения такие, как локальный контраст.

Модели восприятия изображений используются для «пересчета» изображения к другим условиям просмотра так, чтобы сохранить, по возможности, не только воспринимаемые цвета, но и воспринимаемый контраст (глобальный и локальный). В частности, модели восприятия изображений можно использовать для тонального сжатия HDR-изображений с учетом особенностей зрительной системы человека.

Известно, что зрение человека более чувствительно к локальному контрасту, чем к глобальному. Об этом уже говорилось в предыдущей главе. Поэтому при тональном сжатии HDR-изображения более важно сохранять локальный контраст, чем глобальный. После тонального сжатия с приоритетом локального контраста изображение будет восприниматься ближе к исходному, чем при равномерном, линейном сжатии.

Модели восприятия цвета работают для равномерно закрашенных цветовых образцов, для которых легко определить, что является фоном. Если рассмотреть цвет какой-либо части изображения, то ее фоном будут служить соседние части картинки. Если соотношение цветов в изображении изменилось (например, в результате преобразования из одного ЦП в другое), то условия просмотра этой части картинки тоже изменятся, несмотря на то, что условия просмотра всего изображения не изменились. Как это будет учитываться, мне неизвестно.

Рассмотрим более подробно модель восприятия изображений iCAM06, которая была разработана специально для использования при тональном сжатии HDR-изображений. На рисунке 2.2 приведена общая схема обработки такого изображения.

Рис. 2.2. Обработка HDR-изображения в модели восприятия изображений iCAM06.

Согласно этой модели исходное изображение (в аппаратно-независимом цветовом пространстве) разлагается на два: первое содержит низкие пространственные частоты канала яркостей (базовый слой), а второе – высокие (слой деталей).

Для математиков скажу, что разложение выполняется с помощью двустороннего фильтра (bilateral filter), ядро свертки которого равно произведению двух экспонент (гауссовых фильтров), одна из которых зависит от расстояния между пикселями (также как и в случае обычного гауссового размывания), а другая – от разности яркостей сравниваемых пикселей. Такой фильтр осуществляет гауссово размывание, но с сохранением информации о границах. Поэтому каемки вдоль границ (гало) существенно ослабляются.

Базовый слой преобразуется в цветовое пространство IPT с точкой белого D65, с помощью модели хроматической адаптации, взятой из CIECAM02. Затем выполняется тональное сжатие, чтобы вписать HDR-изображение в нужный диапазон яркостей. Для этого используют полученные экспериментально функции чувствительности фоторецепторов глаза отдельно для палочек и колбочек.

Слой деталей преобразуется с целью улучшения отображения мелких частей. Затем оба слоя объединяются, выполняется обратная хроматическая адаптация от D65 к точке белого выходного устройства и получается результирующее изображение.

Модель iCAM06 моделирует следующие особенности зрительной системы человека: эффект Ханта (зависимость локальной полноты цвета от яркости), эффект Стивенса (зависимость локального контраста от яркости изображения) и эффект Бартлесона-Бренемана (зависимость локального контраста от яркости окружения). Использование этой модели позволяет улучшить контраст HDR-изображения, а также детали в самых светлых и самых темных областях.

Понятия теории цвета, изложенные выше, не слишком сложны (иногда говорят, обманчиво просты), но чтобы легко пользоваться ими, необходимо немного потренироваться. Рассмотрим несколько простых случаев.

Линейное цветовое пространство и гамма-кодирование.

Сначала рассмотрим случай малой глубины цветности – 8-бит на канал. Это значит, что весь диапазон яркостей каждого из rgb-каналов нужно разбить на 256 интервалов и все точки изображения с различными яркостями из одного интервала будут закодированы (а, следовательно, и выглядеть на экране) в этом канале совершенно одинаково.

Если все интервалы сделать равными по длине, то получим линейное пространство (без гамма-коррекции). Сформируем в этом пространстве серый градиент, в котором rgb-координаты линейно меняются от нуля до 255 (точкам градиента 0.25, 0.50 и 0.75 соответствуют rgb-координаты (64, 64, 64), (128, 128, 128) и (191, 191, 191)). Изобразим полученный градиент в графическом редакторе и увидим, что светлая часть градиента непомерно велика (Рис. 2.3а). Это объясняется тем, что в отличие от сенсора фотокамеры система «глаз-мозг» воспринимает яркость нелинейно и лучше различает темные оттенки серого, чем светлые.

Рис. 2.3. Изображение градиента в разных цветовых пространствах:

а) без гамма-коррекции; б) с гамма-коррекцией.

Чтобы «подстроиться» под нелинейность зрительной системы человека, применяется гамма-кодирование. В этом случае диапазон яркостей каждого из rgb-каналов по-прежнему разбивается на 256 интервалов, но длины интервалов уже разные. Для малых яркостей интервалы маленькие и увеличиваются по мере увеличения яркости в соответствии со степенной функцией с показателем гамма (часто гамма = 2.2). Тем самым темный участок градиента растягивается, и для теней отводится больше бит и, соответственно, остается меньше бит для светлых частей (Рис. 2.3б).

Одна и та же точка голубого неба будет на экране выглядеть одинаково для линейного RGB-пространства и для пространства с гамма-коррекцией, в то время как значения координат будут различаться: будет что-то вроде (79, 170, 228) для линейного пространства и (151, 213, 243) для пространства с гамма-коррекцией.

Теперь перейдем к случаю цветового пространства с большей глубиной цветности, например, 16-бит на канал, плавающая запятая. В этом пространстве оба варианта нашего серого градиента на глаз будут выглядеть приблизительно так же, как и на рисунке 2.3. Но при 200 %-м увеличении разница заметна (Рис. 2.4). На рисунке 2.4а видны вертикальные полоски, отсутствующие на рисунке 2.4б.

Рис. 2.4. Левая четверть градиента при 200 %-м увеличении в разных цветовых пространствах:

а) 8 бит на канал, без гамма-коррекции;

б) 16 бит на канал, плавающая запятая, без гамма-коррекции.

Есть ли альтернатива гамма-коррекции? Существуют несколько способов превратить градиент на рисунке 2.3а в градиент на рисунке 2.3б, оставаясь в линейном пространстве:

1) «подкрутить» гамму дисплея;

2) добавить к изображению нужный профиль ICC (задающий «подкрученную» гамму);

3) растянуть темную часть градиента в графическом редакторе.

Первый способ плох, потому что все остальные картинки на экране, рассчитанные на стандартную гамму, станут очень темными. Второй способ – это по существу тот же третий, только растягивание происходило бы при каждом открытии изображения и выполнялось бы не пользователем, а модулем управления цветом. Третий способ рассмотрим подробнее.

Растянуть темную часть градиента в графическом редакторе можно с помощью различных инструментов: «уровни», «кривые» и «градиент в нелинейном пространстве». Воспользуемся последним вариантом, так как он дает немного лучшие результаты и им проще получить то, что нам нужно. Проделаем это для глубины цветности 8 бит на канал и 32 бит на канал, целые числа. Поскольку на глаз разница малозаметна, то оценивать качество получившегося градиента будем с помощью гистограммы. Для идеального градиента количество точек с определенным значением яркости одно и то же для всех значений яркости. Поэтому гистограмма распределения значений яркости для такого градиента должна выглядеть как прямоугольник, лежащий на горизонтальной оси, и все столбики должны быть одной высоты. Результаты же нашего эксперимента приведены на рисунке 2.5.

Рис. 2.5. Гистограммы «растянутого» градиента в разных цветовых пространствах (пояснения в тексте).

Для большей глубины цветности гистограмма почти безупречна (в каждый интервал, за исключением двух, попадает одно и то же количество пикселей), а для 8 бит получился «рыбий скелет» или «щетка», которая совсем не похожа на плоское плато гистограммы идеального градиента. Пустые промежутки на гистограмме означают, что соответствующих значений яркости нет, и в градиенте присутствуют «ступеньки». Столбики неодинаковой высоты означают, что увеличение яркости на разных участках градиента происходит с разной скоростью. Эти дефекты градиента объясняются тем, что при кодировании в линейном пространстве малой глубины цветности часть информации о деталях в тенях теряется безвозвратно, и не может быть восстановлена в графическом редакторе. В линейном пространстве с глубиной цветности 16 и более бит на канал потери информации при кодировании невелики, и изображение может быть преобразовано к виду, эквивалентному применению гамма-сжатия, с приемлемым качеством. Таким образом, гамма-коррекция принципиально важна только в пространствах малой глубины цветности.

С другой стороны, выполнять в нелинейном рабочем пространстве графического редактора операции, связанные с линейными преобразованиями цвета, вообще говоря, некорректно. Во-первых, потому что участки яркостей, сжатые гамма-компрессией, могут быть растянуты и потери информации, связанные со сжатием, могут стать заметными. Например, плавное изменение яркости в тенях, может замениться ступенчатым (возникнет постеризация). Во-вторых, при слиянии нескольких кадров, снятых с разной экспозицией, что часто делается при обработке HDR-изображений, конечная картинка будет состоять из кусков, сжатых по-разному.

Поэтому, если отснятый материал планируется интенсивно редактировать, то лучше снимать в raw-формате, переводить его в линейное пространство большой глубины цветности, редактировать в нем, а потом, если это нужно, переводить конечный результат в 8-ми битовое пространство с гамма-компрессией.

На величину гамма-коррекции может оказать влияние «ключ» изображения. При съемке в темных тонах (low key, придает снимку драматичность) изображение будет выглядеть правильнее при немного большей гамма, чем обычно, за счет улучшения деталировки в темных областях. При съемке в высоком ключе (high key, легкие, жизнерадостные снимки), наоборот, можно попробовать уменьшить гамму.

Рабочее цветовое пространство графического редактора: 8 или 16 бит на канал. Работать в редакторе с глубиной цветности, меньшей 16 бит на канал, нежелательно. Если сравнить гистограммы слоя до и после преобразования инструментом «уровни» или «кривые», то можно увидеть появление щелей или выбросов («рыбий скелет» или «ежик», Рис. 2.6а). Это значит, что, если на снимке есть область с плавным переходом яркости или цвета, то в этом месте может появиться граница, которой не было раньше (произойдет постеризация, то есть, огрубление цветовых и тональных переходов).

Рис. 2.6. Гистограммы после тональной компрессии в цветовых пространствах разной глубины цветности.

Причин этого явления две. Во-первых, при растягивании интервала яркостей количество ненулевых значений среди тех из 256 столбиков гистограммы, которые попадают в этот интервал, не должно измениться (если не применяется растушевка или рандомизация и не используется плавающая запятая), значит, должны появиться щели. А при сужении интервала количество ненулевых значений должно уменьшиться, что приводит к сложению высот некоторых соседних столбцов (получается «ежик»). Во-вторых, ошибки округления при вычислениях с целочисленными значениями цветовых координат при небольшой глубине цветности также дают похожий эффект. Для целочисленного 16-битного режима это, конечно, тоже имеет место, но щели получаются очень узкие, а «иголки» – короткие.

Если редактировать изображение в 16-битном режиме, то это практически исключит постеризацию, вызванную ошибками округления (Рис. 2.6б). Даже если исходное изображение имеет 8 бит на канал. Естественно, обработка изображения в 16-битном режиме загрузит компьютер сильнее.

Узкие щели и пики на гистограмме исчезнут, если изображение растушевать с очень малым радиусом (один пиксель и менее), но при этом немного пострадает резкость.

Все преобразования в пространстве CIELAB нужно выполнять не менее чем в 16-битном режиме. А конечный результат, если это необходимо, перевести в 8-битное изображение.

Что касается логарифмических гистограмм (вертикальная ось дана в логарифмическом масштабе), то они предназначены для случаев, когда гистограмма содержит высокие пики, а остальные участки прижаты к горизонтальной оси. В логарифмической гистограмме нижний слой растягивается и можно посмотреть, что происходит на участках вне пиков. Для нормально экспонированных фотографий пейзажей это не очень актуально. Логарифмические гистограммы могут быть полезны при рассмотрении промежуточных изображений: масок и компонентов разложения.

На рисунке 2.7 приведены линейные и логарифмические гистограммы типичного пейзажа для линейного пространства и пространства с гамма-коррекцией.

Рис. 2.7. Виды гистограмм: а) гамма-коррекция, линейная гистограмма; б) гамма-коррекция, логарифмическая гистограмма; в) линейное пространство, линейная гистограмма; г) линейное пространство, логарифмическая гистограмма.

Рабочее цветовое пространство графического редактора: ProFoto или CMYK.

Если фотография предназначена только для печати на принтере, то, казалось бы, логично использовать CMYK в качестве рабочего пространства редактора. В этом случае в процессе редактирования изображение все время будет видно так, как оно будет напечатано (с индикацией цветов, невоспроизводимых на мониторе).

Однако, с другой стороны, нет никакой необходимости все промежуточные изображения вписывать в CMYK. Наоборот, все преобразования лучше выполнять в большом ЦП, чтобы избежать искажений цвета, связанных с ограниченным цветовым охватом рабочего пространства. А для того, чтобы в любой момент посмотреть, как картинка будет выглядеть на бумаге, можно воспользоваться функцией softproof.

Так как же правильно поступать? Как всегда, ответ зависит от конкретной ситуации. Возможны два подхода:

• как можно раньше исходное ЦП заменить на CMYK (такой подход называется early binding);

• сохранять исходную кодировку как можно дольше (late binding).

Сразу же перейти в CMYK полезно для следующего:

• можно воспользоваться профилями, оптимизированными для перехода из исходного ЦП сразу в CMYK,

• дефекты цветовоспроизведения на принтере обнаруживаются на раннем этапе.

Не переходить в CMYK как можно дольше позволит:

• не потерять при редактировании те исходные цвета вне гамута CMYK, которые при дальнейшей обработке вернулись бы в него; другими словами, на промежуточных стадиях редактирования не опасаться того, что некоторые цвета могут временно выйти из гамута CMYK (если они вернутся в CMYK, то не будут искажены),

• сохранять результаты редактирования в ЦП с широким цветовым охватом,

• упростить смену выходного устройства,

• воспользоваться более полным набором операций графического редактора (функционал для работы в CMYK в некоторых графических редакторах меньше, чем в других ЦП).

А вот окончательное повышение резкости делают уже после преобразования в CMYK.

Рабочее цветовое пространство графического редактора: ProFoto или RGB. Рассмотрим другие варианты выбора рабочего цветового пространства графического редактора. Напомню, что возможные кандидаты – это sRGB (ориентировано на ЭЛТ-мониторы) или Adobe RGB 1998 (добавлены зелено-голубые цвета, воспроизводимые принтерами) или ProPhoto (принтеры высокого качества). В первом пространстве отсутствуют некоторые тона голубого и зеленого и яркие оранжево-пурпурные цвета, которые есть во втором. Но зато sRGB для «своих» цветов использует всю глубину цветности, а на те же цвета Adobe RGB 1998 отводит только часть бит глубины цветности, даже если цветов, отсутствующих в sRGB, в изображении вовсе нет.

С другой стороны, если в качестве рабочего пространства графического редактора выбрать sRGB, то будет трудно использовать те цвета вне sRGB, которые можно напечатать.

При использовании широкого рабочего цветового пространства:

• если в результате редактирования изображения появятся цвета, которые отсутствуют в более узком ЦП, в более широком ЦП они не будут клиппированы;

• при передаче изображения на другое устройство (проектор, принтер, дисплей), возможно, лишние цвета пригодятся.

Но, при использовании излишне широкого рабочего цветового пространства в результате применения колориметрических отображений:

• используемые цвета могут потерять насыщенность;

• контраст может уменьшиться.

В идеале рабочее пространство должно быть линейно и иметь большую глубину цветности (16 или 32 бита на канал, плавающая запятая). В нелинейном пространстве, например, с примененной гамма-компрессией или тональной кривой, уже определено, какой интервал яркостей имеет больший приоритет и каковы точки черного и белого. Начиная с линейного пространства, мы начинаем с чистого листа и все определяем самостоятельно. Сначала выполним все нужные преобразования цвета линейно (более правильно) и только потом зададим точки черного и белого, применим тональные кривые и гамма-компрессию. Появляется возможность заархивировать полученное изображение в линейном пространстве и впоследствии получать из него нужный вариант, задавая конкретные кривые и точки черного и белого.

В конце главы немного пофантазируем. Как приятно отключить тот сторож в голове, который заставляет напрягаться и все время следить за тем, чтобы не ляпнуть что-нибудь такое, в чем до конца не уверен.

Хорошо, с цветом более или менее понятно, а как с другими органами чувств? Например, вкус. Тут тоже присутствуют «основные цвета»: сладкое, кислое, соленое, горькое. Существуют, если я не ошибаюсь, вкусовые пупырышки, аналог рецепторов сетчатки. Сладкое может непрерывно переходить через кисло-сладкое в кислое (с точностью до молекулы?). Возможно, тут тоже можно определить «вкусовое пространство» (четырехмерное?) и обрабатывать вкусы на компьютере. Имеет место и адаптация. Например, когда суп немного пересолен, а мы продолжаем его есть, то постепенно перестаем замечать избыток соли.

А обоняние? Парфюмеры, конечно, знают лучше меня, существуют ли «основные» запахи. Но концентрация запаха явно может изменяться почти непрерывно, с точностью до молекулы. И возможны «линейные» смеси различных запахов. Снова имеет место адаптация: запахи (по крайне мере, некоторые) перестают восприниматься, если их концентрация не меняется длительное время. Представьте «пространство запахов» и составление рецептуры духов или кулинарных блюд на компьютере. Впрочем, может быть, в парфюмерии это так и делается.

Не очень понятно, являются ли «основными цветами» в осязании пары гладкое – шероховатое, теплое – холодное, острое – тупое, сухое – мокрое, прикосновение – давление. Это, скорее похоже на оппонентность вроде пар «красное – зеленое» и «синее – желтое». А какое практическое применение могло бы найти пространство тактильных ощущений? «Темна вода» (думаю, что сейчас мало кто знает, откуда эта цитата).

Кто-то может спросить, почему я помалкиваю о слухе и звуках. А просто не знаю, с какой стороны подступиться. Как будто бы тоже есть спектральное распределение энергии, но уже звуковых волн, и есть «монохроматические» звуки. Но дальше все по-другому. В ушах есть «улитки», осуществляющие разложение входного звука на частоты. У звука может быть направление, откуда он приходит («обзор» – 360 градусов, с разной чувствительностью). Если вдуматься в аналогию между парами «фотография – видеофильм» и «постоянный звук – мелодия»), то заниматься «фотографией» в аудио-сфере явно не хочется. Хотя тут я, наверно, не прав, и системный подход к синтезу различных звуковых волн с постоянным спектром может вполне дать интересные результаты. Продвинуться дальше не решаюсь. Нужно было бы сначала узнать, что открыто в этой области за последнее время. И хорошо бы быть музыкантом.

Что такое управление цветностью? Я раньше путался в этих вопросах. Теперь, вроде бы, «просёк», как говорили на физтехе в мое время. Оказалось, что мало понять определения, а нужно еще напрячься и немного поупражняться в решении задачек и поэкспериментировать. Правда, в англоязычном интернете я наткнулся на мнение, что еще не родился такой пользователь, который бы понимал, как все это должно работать.

Перейдем к мониторам. Качество цветопередачи существенно зависит от типа матрицы жидкокристаллического (на тонкопленочных транзисторах) монитора компьютера. Типов матриц много.

Для матрицы типа TFT TN (Thin film transistor, Twisted Nematic, закрученная ориентация жидких кристаллов) серый цвет на экране может выглядеть, например, слегка розовым или зеленоватым, причем для областей разных яркостей этот оттенок может быть разным. Более того, оттенок может измениться, если смотреть на экран немного сбоку или снизу (сверху). Для таких матриц каждый пиксель может иметь собственный оттенок, отличный от других, а точное позиционирование кристаллов невозможно. Матрицу TN трудно точно откалибровать, а результаты плывут со временем.

Матрица типа TFT IPS (In Plane Switch, переключение в плоскости, планарная ориентация жидких кристаллов) обладает лучшей цветопередачей по сравнению с матрицей типа TFT TN. Матрица IPS использует 8 или 10 бит на канал, а матрица TN – 6 бит (с интерполяцией 8-битового сигнала графической карты).

Недостатки матрицы типа TFT IPS по сравнению с матрицей типа TFT TN: повышенное энергопотребление (до 15 %), более высокая стоимость и меньшее время реакции.

Всего подвидов IPS много, упомянем наиболее известные:

• TFT P-IPS (Professional IPS) – достаточно редкие и очень дорогие матрицы, созданные для профессиональной обработки фотографий, они обеспечивают великолепную цветопередачу (глубина цвета 30 бит).

• TFT AH-IPS (Advanced High Performance IPS) – новейший тип IPS: улучшена цветопередача, увеличено разрешение, повышена яркость и понижено энергопотребление.

Матрицы мониторов типа OLED появились совсем недавно. Они дают отличный черный цвет, высокую контрастность. Цветовой охват может достигать 100 % AdobeRGB. На сегодняшний день есть проблемы (высокочастотное мерцание, выгорание пикселей, высокая стоимость), которые со временем наверняка будут решены.

Область отображаемых цветов в TN матрицах сильно зависит от технологии подсветки: для некоторых простых типов подсветки возможно отобразить на экране только менее 30 % от цветового охвата sRGB. Наилучшие TN-мониторы имеют цветовой охват до 80–90 % sRGB, а обычные – меньше 70 % sRGB, а значит для цветокоррекции они не всегда подойдут. Но даже в IPS-мониторах дешевле 10 тысяч рублей (в 2018 году) нередко есть профиль с охватом в 100 % sRGB.

Различные системы подсветки матриц мониторов:

• CCFL (Cold Cathode Fluorescent Lamps) – две или несколько ламп дневного света; равномерное белое освещение, но потребляют много энергии;

• EL-WLED – один или несколько рядов белых светодиодов и светорассеиватель; могут быть использованы в тонких дисплеях; управление яркостью светодиодов позволяет увеличить контраст с 1000:1 до 30000:1;

• WLED – матрица белых светодиодов, расположенных за светорассеивателем; возможно изменять яркость светодиодов локально;

• RGB LED – технология похожа на WLED, но использует трехцветные светодиоды (в одном RGB-диоде находятся три одноцветных диода (красный, зеленый и синий), управляемые независимо, что позволяет изменять цвет RGB-диода непрерывно в широком интервале; широкий цветовой охват и отличное качество цветной картинки;

• QD-LED или QLED – светодиодная подсветка на квантовых точках, расширенный цветовой охват.

В отличие от дисплеев на электронно-лучевой трубке жидкокристаллические дисплеи имеют линейные зависимости яркости от управляющего напряжения. Однако производители намеренно встраивают нелинейные элементы, чтобы сымитировать гамму дисплея на ЭЛТ.

В тех случаях, когда цветов sRGB не хватает и необходимо работать в цветовом пространстве AdobeRGB или даже в ROMM RGB, без монитора с большим цветовым охватом не обойтись. Более того, некоторые цвета sRGB, которые может выдать камера и напечатать обычный принтер, обычный монитор не сможет показать. На мониторах с большим цветовым охватом особенно важно применять системы управления цветом (профили, калибровку устройств, программное обеспечение). Но одного широкого цветового охвата для хорошего монитора недостаточно. Необходима также система ослабления неоднородностей яркости и цветности.

Среди мониторов встречаются и достаточно «крутые». Так монитор Eizo ColorEdge CG277 (10-битный цвет +16-битная LUT, 99 % Adobe RGB) имеет встроенный внешний сенсор (калибратор), который позволяет выполнять калибровку монитора так часто, как это захочется.

Также как и на сенсоре камеры, на мониторах бывают неисправные пиксели (битые или зависшие). Создано много компьютерных программ для обнаружения дефектных пикселей и для «лечения» зависших: IsMyLcdOK, NOKIA MONITOR TEST, PixPerAn, Jscreenfix.

В заключение несколько слов об устройствах для демонстрации HDR-изображений. Идея состоит в том, что HDR-изображение разлагается (часто с помощью модели восприятия изображений iCAM06) на две части, содержащие разные пространственные частоты: низкочастотную и высокочастотную. Низкочастотная часть подвергается тональному сжатию и тем или иным способом объединяется с высокочастотной частью. При этом требуется попиксельное совмещение изображений. В зависимости от деталей реализации такие устройства разделяют на использующие твердые копии (hard copy devices) и использующие электронные копии (soft copy devices).

К устройствам первого типа относятся проекторы, объединяющие проекции двух слайдов (достигается отношение контрастов 10 000: 1), или проецирующие слайд на фотографию (60 000: 1). В последнем случае разница в частотах получается автоматически за счет того, что разрешение принтера намного выше, чем разрешение проектора.

К устройствам второго типа относится сдвоенная ЖК-панель, причем на внешней панели воспроизводится высокочастотная картинка, а на внутренней, исполняющей роль подсветки для внешней – низкочастотная (50 000: 1).

У каждого цифрового фотографа есть свои любимые программы, к которым он привык и которые освоил. Часто при этом возникает нежелание пробовать какие-то еще. Зачем? Мне вполне хватает той, которой я пользуюсь! Но когда, по тем или иным причинам, приходится запустить другую, более новую и более продвинутую, то после небольшого промежутка времени работы с ней начинаешь сожалеть, что не начал пользоваться этой программой раньше.

Мой совет: обновлять на своем компьютере версии бесплатных программ следует не реже одного раза в год, полгода. Что касается платных, то это – как «совесть (или кошелек) подскажет».

В этой главе содержится небольшой обзор доступных на момент написания этой книжки компьютерных программ для редактирования изображений. Ограничусь только программами для операционной системы Windows и только теми, которые пробовал. Некоторые из тех, которые не пробовал – только упомяну.

Обработка фотографий пейзажей начинается с использования редакторов raw-файлов. Затем применяются редакторы растровых изображений (в отличие от программ векторной или 3D графики), поддерживающие такие механизмы как слои, маски, фильтры. В этот процесс вклиниваются разнообразные более узкоспециализированные программы для удаления шума, повышения резкости, создания панорам и другие.

Рассмотрим все эти классы программ подробнее, но сначала перечислим их важные общие характеристики.

Варианты оплаты:

• плата за программу и за каждый сеанс использования (за обработанное изображение);

• shareware – плата за программу, обычно возможен бесплатный пробный период (иногда с ограниченной функциональностью);

• freeware – бесплатные (часто неожиданно высокого качества и хорошо документированные);

• open source – бесплатные с исходными кодами, которые можно изменять.

Глубина цвета (в битах на канал):

• 8, 16, 32-битные целые;

• 16, 32, 64-битные с плавающей запятой.

Управление цветом:

• только в той степени, которая реализована в используемой версии операционной системы (color management system);

• использование профилей ICC, DCP;

• использование моделей восприятия цвета.

Метод использования:

• библиотека функций, для работы с которой нужно программировать на том или ином языке.

• программа, запускаемая из командной строки;

• программа, имеющая графический интерфейс пользователя (кнопки и меню);

• плагин – блок функций, который можно встроить в графический интерфейс одной или нескольких других программ.

Для программ, запускаемых из командной строки, часто существуют графические оболочки (front end, helper), которые позволяют работать с такими программами с помощью кнопок и меню. Бывают платные графические оболочки для бесплатных программ, запускаемых из командной строки.

Для редактирования raw-файлов предназначены такие программы как Adobe Camera Raw, AdobeLightRoom 2, Digital Photo Professional, RawTherapee, Adobe DNG converter, Dcraw, DxO PhotoLab, RawDigger и другие.

Я перечислю только то, что мне особенно нравится в RawTherapee:

• это бесплатная программа высокого качества;

• глубина цвета 16, 24 и 32 бит на канал (плавающая запятая);

• много удобных способов работать с разнообразными кривыми в CIELAB;

• полноценная система управления цветом (ICC и DCP профили, CIECAM02, индикация невоспроизводимых цветов);

• вейвлет-разложение (Daubechies D4, D6, D10, D14);

• разнообразные алгоритмы повышения кажущейся резкости, в том числе, обратная свертка (RL deconvolution), резкость краев (Edge Sharpness, использует вейвлет-разложение);

• обработка HDR изображений;

• различные алгоритмы демозаизации;

• показывает исходное raw-изображение, полученное камерой, без каких-либо изменений, которые часто делают другие редакторы raw-файлов;

• маска фокуса, которая показывает, какие части изображения находятся в фокусе;

• впечатляющее количество разнообразных способов превратить цветной снимок в черно-белый;

• частичное устранение пересветов в raw-файле (Highlight Reconstruction: детали, отсутствующие в одном RGB-канале, «восстанавливаются» по информации из других каналов; Color Propagation, распространение цвета: отсутствующие детали «восстанавливаются» по информации из соседних областей, см. Рис. 4.1).

Рис. 4.1. Результат применения алгоритмов восстановления светлых областей. Чтобы сделать результаты видимыми, компенсацией экспозиции пересвет затемнен до 87.5 %-го серого. Показаны две контрольные точки.

Использование входных профилей в RawTherapee возможно в четырех режимах:

• No Profile – для raw-файлов будут показаны rgb-данные сенсоров после демозаизации и баланса белого, для остальных файлов – без применения профилей и без гамма-коррекции (изображение будет выглядеть светлым).

• Camera Standard – для перевода rgb-данных сенсоров в sRGB будет использована только 3×3-матрица цвета (color matrix), взятая либо из DNG-файла, либо из файла camconst.json. Это наилучший вариант, если необходима линейность преобразования, например, в случае дальнейшей обработки HDR-изображения.

• Auto-Matched Camera Profile – использует профиль DCP или ICC для вашей камеры, найденный автоматически по имени камеры (например, файл «Canon 5D MarkIII.dcp»). Обеспечивает более аккуратное цветовоспроизведение, чем с помощью только матрицы цвета.

• Custom – использует профиль DCP или ICC, указанный пользователем.

Не нравится то, что в RawTherapee порядок применения инструментов фиксирован и не зависит от того порядка, в каком я их применял.

Данный класс программ можно разделить на три группы по типу взаимодействия с пользователем:

• графические редакторы (управление мышью и с помощью клавиатуры),

• обработчики команд (ввод команд с клавиатуры или из файла),

• библиотеки функций (вызов функций из программ, написанных пользователем).

Графические редакторы имеют богатый интерфейс, позволяющий пользователю выстраивать сложные последовательности шагов обработки изображений, корректировать предыдущие шаги обработки на протяжении многих сеансов работы с программой. Самая популярная программа такого класса (платная) – это Adobe PhotoShop. Вместе с Adobe Photoshop Lightroom она представляет собой наиболее полный инструментарий для хранения, поиска, редактирования и печати фотографий. Второе место по популярности занимает, видимо, бесплатный GIMP. За ним следуют PixBuilder Studio, Paint.NET, Photoscape, PhotoInstrument, Artweaver, ACDSee Pro и многие другие. Большинство из этих программ поддерживает использование таких механизмов, как слои, маски, инструменты, фильтры, плагины. Типичная черта графических редакторов: один и тот же результат можно получить несколькими способами. Об этом классе программ много рассуждать смысла нет, так как им посвящены тонны книг (95 % – фотошопу).

В качестве примера обработчика команд, можно привести бесплатный ImageMagick. Наиболее интересные возможности его: дискретное преобразование Фурье, выделение границ (Canny edge detection, Hough lines), изменение перспективы и построение HDR-изображений. Функциями ImageMagick можно воспользоваться также из программ, написанных на C++, COM+ и других языках программирования.

Приведу тексты некоторых из пакетных файлов Windows для ImageMagick, которыми я пользовался при получении материалов о Фурье-анализе изображения для следующей главы.

Файл для преобразования Фурье:

rem вход: %1 – файл изображения

rem выход: %1_spectr.tif – спектр Фурье, %1_log.tif – спектр для просмотра

SETLOCAL EnableDelayedExpansion

convert %1 – fft %1_spectr.tif

convert %1 – fft – contrast-stretch 0 – evaluate log 10000 %1_log.tif

Здесь код «%1» означает имя файла, который был упомянут в аргументах при вызове bat-файла (либо был перетащен мышью и опущен на bat-файл). Код «%1_spectr.tif» означает строку (имя выходного файла), полученную добавлением к имени файла %1 строки «_spectr.tif». Файл %1_spectr.tif содержит два слоя: первый – амплитуду спектрограммы, а второй – фазу. Файл %1_log.tif содержит эти же коэффициенты с увеличенным контрастом и в логарифмическом масштабе и предназначен только для просмотра спектрограммы.

Файл для обратного преобразования Фурье:

rem вход: %1_A.tif – амплитуда спектра, %1_Ph.tif – фаза спектра

rem выход: %1_ift.tif – восстановленное изображение

SETLOCAL EnableDelayedExpansion

Существует много программ для автоматической склейки фрагментов в панорамное изображение: PTAssembler, PhotoStitch, PanoTools или популярные коммерческие пакеты, такие как Autostitch, Arc Soft Panorama Maker, Panorama Factory и PanaVue. Во многих из этих программ панораму, полученную автоматически, можно еще и подправить вручную. Обычно, путем указания точек фрагментов, которые должны совпасть. Или с помощью перетаскивания небольшого кусочка одного фрагмента в нужное место другого.

Многие из этих программ выполняют изменение перспективы и исправление пространственных искажений, вносимых объективом. Большинство программ сборки панорам предоставляют возможность задать точку схождения перспективы, а также тип проекции изображения.

Особо нужно упомянуть PanoTools – набор приложений (как платных, так и бесплатных), вызываемых из командной строки, Среди этих приложений я бы выделил следующие:

• PTRemap – преобразует изображение из одной проекции в другую;

• PTAdjust – вставляет и удаляет изображения с изменением проекции, оптимизирует контрольные точки;

• PTStitcher – сборщик изображений в панораму.

Поскольку с командной строкой работать неудобно, для PanoTools появилось несколько графических интерфейсов: hugin, PanoWizard, PTGui, PTAssembler (первые два – бесплатные).

Мне нравится hugin (произносится, видимо, хь'юджин), исходные коды которого к тому же и открыты. Программа хорошо собирает многослойные панорамы из нескольких десятков кадров. При этом кадры, снятые с разной экспозицией и с разным балансом белого неплохо выравниваются. Правда, выравнивания кадров по контрасту, по-моему, не происходит, либо я не докопался.

Контрольные точки для сшивки фрагментов находятся автоматически (сотни и тысячи точек!). В редких сложных случаях приходится указывать часть новых точек и удалять некоторые лишние вручную.

С помощью программы hugin можно выравнивать снимки для последующего использования при обработке HDR-изображений и в алгоритме «стопки фокусов» (align_image_stack). Обо всем этом ниже.

Для сшивки фрагментов панорам hugin может использовать программы enblend, enfuse и smartblend (см. ниже).

Существуют плагины PanoTools (adjust, correct, perspect, remap и Multiband) для Photoshop и для Gimp. С помощью плагина resynthesizer (варианты: Heal Selection, Heal Transparency) можно восстанавливать отсутствующие части панорамы по их окружению.

Использование перечисленных программ немного усложняется тем, что сейчас развелось много разновидностей tiff-файлов, и нужно учитывать, какая программа какую разновидность понимает. Поэтому это нужно пояснить.

Tiff-файл может содержать любое количество каналов, например:

• один канал (черно-белое изображение);

• три канала (цветное RGB-изображение);

• четыре канала (цветное CMYK-изображение);

• любое количество дополнительных каналов (альфа-каналов), содержащих маски, выделения, дополнительные цветовые каналы и вообще все, что угодно.

Виды tiff-файлов, применяемые в процессе создания панорам, таковы.

• Многослойные tiff-файлы, в которых каждый слой содержит один фрагмент панорамы, выравненный геометрически и фотометрически, и находящийся на своем месте в общем поле полного изображения. Такие файлы создает hugin, а прочитать может GIMP.

• Скадрированные tiff-файлы (Cropped TIFF-files), в которых каждый файл содержит один фрагмент панорамы (без пустого места), а в exif-данных содержатся координаты верхнего левого угла фрагмента в полном изображении. Такие файлы enblend читает.

• Маскированные tiff-файлы изображений (masked TIFF image files) содержат слой с маской, которая может использоваться по-разному:

– маска во входном файле описывает границы изображения;

– маска в выходном файле типа TIFF_m (without feather) описывает границы выходного изображения;

– маска в выходном файле типа TIFF_mask (with feather) описывает шов между смежными изображениями, а специальный exif-параметр задает степень градиентного размытия этой границы.

При необходимости можно использовать библиотеки для обработки tiff-файлов: TIFF tools, TIFF libraries, ImageMagick и другие.

Во многих реальных пейзажах диапазон яркостей может достигать отношения 10 000: 1. В то время как для обычного монитора такое отношение равно 100÷1000: 1. Для сенсоров цифровых камер – 50÷500: 1. Для отпечатков – 10÷100: 1. Если сфотографировать такой пейзаж, то на снимке будут либо пересветы, либо провалы в тенях, либо и то и другое. Поэтому, обычно, делают несколько снимков с разными экспозициями, в сумме перекрывающими весь диапазон яркостей, а затем комбинируют эти снимки для получения проработанных деталей, как в тенях, так и в светлых частях. При этом приходится выполнять тональную компрессию (tonemapping), то есть, сжатие реального диапазона яркостей в воспроизводимый диапазон выходного устройства. Этот процесс называют обработкой HDR-изображений.

Исходными данными для программ обработки HDR-изображений обычно является серия фотографий одной и той же сцены, снятых обычной камерой с разными выдержками. От такой экспозиции, где проработаны детали в тенях, до такой, где проработаны детали в самых светлых областях.

Полученное HDR-изображение может быть сохранено в файле, тип которого позволяет хранить значения пикселей изображения с высокой точностью (например, 64 бит, плавающая запятая). Чтобы увидеть такое изображение на мониторе или распечатать, нужно сначала выполнить тональную компрессию с помощью конвертора.

Многие программы серию снимков брекетинга по экспозиции сразу превращают в LDR-изображения (малый динамический диапазон), без сохранения в файле HDR-изображения.

Среди программ с открытым исходным кодом отметим pfstools (вызывается из командной строки) и ее GUI-надстройки: pfsview, qpfstmo, LuminanceHDR (старое название Qtpfsgui), Photomatix Pro, FDRTools. С помощью программ Photosphere, HDRshop, или Photomatix можно получать LDR-картинку из серии снимков с разными выдержками.

Стопка кадров – это несколько кадров одной и той же сцены, снятых, возможно, с разными параметрами (экспозицией, дистанцией фокусировки, диафрагмой и др.). Современные графические редакторы, такие как Фотошоп, как правило, имеют весь необходимый функционал для обработки таких стопок кадров. Но существует и большое количество специализированных программ. Рассмотрим некоторые из них.

Программы smartblend и enblend – это два встраиваемых инструмента, которые позволяют применять сплайны для разных разрешений, используя hugin, PTAssembler и другие программы сборки панорам. Smartblend имеет дополнительное преимущество, будучи способен разумно размещать швы на основе содержания изображения.

Enblend – это программа сборки панорам, которая для сшивки фрагментов использует многомасштабный (многоканальный, multi-resolution) сплайн, благодаря чему швы между фрагментами становятся малозаметными. Смысл применяемого алгоритма в том, что разные интервалы пространственных частот фрагментов сшиваются по-разному, причем, чем больше частота, тем менее размыта маска, используемая для сшивки. Кроме этого программа пытается разместить маску так, чтобы исключить области, несовпадающие на фрагментах, например, возникающие из-за ошибок параллакса. Полученные автоматически маски можно подправить вручную.

Enblend вызывается из командной строки, но существуют графические оболочки, такие как Enblend Front End (бесплатная). Enblend только обрабатывает швы, работая с уже выравненными фрагментами (геометрически, по цвету и по экспозиции), поэтому вначале нужно использовать какую-либо программу, которая умеет это делать. Предельный размер изображения (даже промежуточного) для enblend – два гигапикселя.

Фрагменты не должны пересекаться слишком сильно (для этого случая разработан enfuse, см. ниже). Могут быть использованы цветовые пространства CIELAB, CIECAM02 с глубиной цветности вплоть до 64 бит на канал (плавающая запятая). При этом используется перцептуальное отображение и предполагается, что условия просмотра таковы, что освещение соответствует точке белого D50, а зрение наблюдателя полностью адаптировано.

Каждый фрагмент помещается в отдельный файл или слой tiff-файла. Каждый файл (и слой) должен содержать изображение размера, равного размеру собранной панорамы, в котором соответствующий кадр должен занимать свое положение. Остальное пространство изображения в файле (слое) пусто. Таким образом enblend узнает, как выравнены кадры геометрически.

Порядок имен файлов, содержащих фрагменты, должен соответствовать порядку, в котором фрагменты следуют в изображении, например, слева направо. Каждый горизонтальный ряд многослойной панорамы нужно объединять за один вызов программы, а затем вызвать enblend для объединения всех полученных рядов.

Результирующий файл содержит альфа-канал, и изображение не имеет ровных краев, нуждается в обрезке.

Enfuse – это программа, которая объединяет несколько снимков одной и той же сцены для того, чтобы получить:

• HDR-изображение – используются снимки, снятые с разной экспозицией (можно даже взять один raw-файл и получить из него несколько tiff-изображений разной яркости, при этом идеальное выравнивание будет обеспечено автоматически!);

• изображение с увеличенной глубиной резкости – используются снимки, снятые с разной дистанцией фокусировки (focus stack, стопка фокусов, стек фокусов, совмещенный фокус);

• изображение с увеличенной глубиной резкости – используются снимки, снятые с разными диафрагмами (метод F-ступеней);

• уменьшение шума – используются снимки, снятые с одними и теми же параметрами.

Более того, enfuse может объединять снимки одной и той же сцены, имеющие разный контраст, насыщенность, оттенок цвета и другие характеристики. Главное, чтобы снимки были идеально (попиксельно) выравнены. Цель такого преобразования задается пользователем с помощью критерия (см. ниже). Программа enfuse также использует многомасштабный сплайн, но в отличие от enblend, который создает маску только для швов, enfuse создает маску для всего кадра.

Алгоритм объединения снимков таков. Для каждого пикселя выходного изображения отыскиваются соответствующие точки в исходных кадрах, и среди этих точек выбирается наилучшая в смысле заданного критерия. Выбранная точка и будет служить пикселем выходного изображения.

Если в качестве критерия указана экспозиция, то в результирующее изображение попадет пиксель из того кадра, в котором яркость пикселя ближе всего к средней яркости изображения. Такой критерий выбирает наиболее «правильно» экспонированные пиксели. Если в качестве критерия указана насыщенность, то выбирается наиболее насыщенный пиксель. Если в качестве критерия указан локальный контраст, то выбирается пиксель с наибольшим локальным стандартным отклонением яркости. Наконец, если в качестве критерия указана энтропия, то выбирается пиксель с наименьшей локальной энтропией (наибольшим разнообразием цвета соседних точек). Точнее, сравниваются локальные энтропии того из rgb-каналов, который имеет минимальную локальную энтропию. При этом выбираются наиболее детализированные участки, но и наиболее шумные.

Можно задать несколько критериев одновременно, каждый со своим весом. При этом пикселем выходного изображения будет служить смесь соответствующих пикселей изображений, а коэффициенты смеси будут равны взвешенным суммам значений заданных критериев, взятых с весами, заданными пользователем (более понятно написано в инструкции к программе enblend).

Программа использует профили ICC и модель восприятия цвета CIECAM02.

Enfuse вызывается из командной строки или из hugin, но существуют и графические оболочки, такие как EnfuseGUI (бесплатная).

Smartblend – это приложение для сшивки панорам. Фрагменты могут различаться по экспозиции и содержать объекты, которые двигались во время съемки. Программа похожа на enblend, хотя и работает только с глубиной цвета 16 бит на канал (версия 1.2.5), но лучше устраняет ошибки параллакса. Запускается из командной строки и из EnblendGUI, PTGui, PTAssembler и hugin.

Фрагменты должны быть предварительно выравнены геометрически и по цвету (я обнаружил, что и по экспозиции лучше выравнять самому). В отличие от enblend каждый файл фрагмента содержит только соответствующий кадр, а офсеты фрагментов задаются в командной строке вместе с именами файлов. Smartblend использует пирамиды для многомасштабной сшивки фрагментов и специальный алгоритм для определения положения шва. Правда, хорошей документации я не нашел.

Говорят (я сам не пробовал), что наилучшие результаты обработки стопки фокусов достигаются с помощью программы Helicon Focus.

Это программное обеспечение стоит несколько особняком. Оно работает на самой камере и использует ее процессор. Файлы программы хранятся на той же карте типа SD (Secure Digital) или CF (Compact Flash), на которую записываются снятые кадры. В настоящее время Magic Lantern (волшебный фонарь) работает только на некоторых камерах Canon.

Начну с приятного. Magic Lantern – бесплатное программное обеспечение, которое значительно расширяет возможности камеры. Перечислю только то, что мне показалось полезным при съемке пейзажей (в частности, опустил все, что касается записи звука, видео, и т. п.).

• Всякие штучки, помогающие выбрать правильную экспозицию (показывает уровни освещенности разным цветом и др.).

• Всякие штучки, помогающие выбрать правильный фокус (ловушка фокуса, стопка фокуса, индикация той части изображения, которая находится в фокусе и др.).

• Разнообразная информация об изображении (Histogram, Waveform, Vectorscope – распределение цветов и др.).

Функция «стопка фокуса» может быть выполнена на камере или на компьютере с помощью программы enfuse. В последнем случае Magic Lantern создаст для enfuse специальный файл-скрипт.

Как известно, большинство камер недоэкспонируют снимки, чтобы обеспечить проработку деталей в ярких областях. При этом могут потеряться детали в тенях. Поэтому важно экспонировать как можно больше, чтобы вытащить детали из теней, но не допустить пересветов. Это называется ETTR (Expose-to-the-right, экспонируйте вправо, то есть, сдвигайте гистограмму вправо). В момент съемки это сделать непросто, потому что большинство камер (кроме некоторых камер Leica), показывают не raw-гистограммы, а jpeg-гистограммы. Пересвет в jpeg наступает раньше, чем в raw на 1–2 ступеней EV. Вот здесь и может помочь Magic Lantern.

Во-первых, Magic Lantern показывает raw-гистограммы. Во-вторых, все пересветы в raw показываются полосками (raw zebras). Правильно выбранная с помощью этих инструментов экспозиция может дать снимок, который на экране камеры выглядит переэкспонированным, но это легко исправляется в редакторе raw-файлов и даст отличные детали в тенях.

Теперь о неприятном. Создатели Magic Lantern (ML) не согласовали свою разработку с фирмой Canon. Поэтому им приходится все время подчеркивать, что установка ML может повредить или вывести из строя камеру, а они за это не отвечают. Хотя они утверждают, что до сих пор не сломали ни одной камеры, не исключено, что это может произойти в будущем. Установка ML, видимо, приведет к потере гарантии Canon. Основная рекомендация разработчиков ML: если что-то пойдет не так, быстро вытаскивайте аккумулятор!

Я пока что не решаюсь устанавливать Magic Lantern на свою камеру.

Dcamprof – программа командной строки (есть платная GUI-надстройка), которая позволяет создавать профили камеры (ICC и DNG) и редактировать профили этих типов вручную.

ArgyllCMS – набор исходных текстов программ командной строки, которые позволяют извлекать профили ICC из файлов изображений, создавать профили ICC для сканеров и камер, калибровать и профилировать дисплеи и принтеры и многое другое. Использует модель CIECAM02. Может использовать спектральные характеристики входных устройств. Хорошо документирован.

ExifTool – программа командной строки, которая позволяет извлекать профили ICC из файлов изображений и добавлять профили в файлы, извлекать, удалять, редактировать и записывать в файл мета-данные (EXIF, IPTC, XMP и др.).

Программы для исправления горячих и мертвых пикселей (заменяют на среднее значение соседних): Pixel Fixer, DeadPixelTest.

Poisson Image Editing – небольшая библиотека функций, осуществляющих редактирование изображений в градиентной области, что используется для бесшовного впечатывания части одного изображения в другое. Другие программы аналогичного назначения: GradientShop и PyPoi.

Эта глава, по-моему, самая интересная (среди первых пяти глав). В ней описано, что математики умеют делать с изображениями сегодня, и для чего это может пригодиться фотографу.

А зачем теоретические вопросы нужны вообще? Игнорируя теорию, приходится механически запоминать, что нужно делать в том или ином случае, не понимая, почему.

И если ситуация немного отличается от той, которую мы запомнили, то, не зная теории, трудно понять, годится в этом случае запомненный прием или нет.

Понимая теорию, хотя бы только на уровне идей, мы уходим от необходимости все запоминать, многие приемы оказываются очевидными. И становится легче ориентироваться в многообразии инструментов графического редактора и их параметров.

А, кроме того, любопытно наблюдать, какие методы обработки изображений приходят на ум другим людям. Тем более что эти методы быстро внедряются в прошивки фотокамер и в графические редакторы.

Все алгоритмы, описанные в этой главе, излагаются во многих книгах по цифровой обработке изображений. Но для фотографов эти книги, видимо, мало подходят.

Во-первых, для их понимания требуется определенное математическое образование. Во-вторых, те (как правило, немногочисленные), примеры изображений, которыми иллюстрируется изложенная теория, даны по схеме: «вот теория, и вот как она работает». В то время как для фотографа важнее обратная схема: «вот моя фотография, вот, что мне надо с ней сделать, какую теорию мне применить».

В этой главе я постарался описать суть важных для фотографа теоретических методов без формул и применить обе схемы: сначала прямую, а потом, в последующих главах, обратную.

Типичный шаг работы с графическим редактором состоит в том, что выделяется некоторая нужная часть изображения и выделенная часть подвергается желательному изменению, в том числе:

• изменению яркости, контраста, цветности;

• изменению резкости (размытие, нерезкая маска);

• изменению рисунка (рисование, копирование, геометрические преобразования);

• более сложному преобразованию (свертка, применение фильтра).

Наиболее распространенные способы выделения нужной части изображения:

• геометрический (вручную, по изображению);

• фотометрический (автоматически, по параметрам изображения: яркости, насыщенности и др.);

• по каналам цветового пространства (обычно, sRGB, CIELAB);

• по пространственным частотам (по спектрограмме Фурье);

• по интервалам пространственных частот (по скалеограмме вейвлет-преобразования);

• по градиентным полям.

Из части, выделенной одним способом, может быть выделена другая часть, но уже другим способом. Так что полное количество способов выделения частей достаточно велико. Главное при этом – четко отделить то, что должно измениться, от того, что должно остаться в исходном состоянии. Рассмотрим перечисленные способы выделения части изображения подробнее.

Выделение части картинки по содержанию осуществляется вручную маской (например, выделение облака, здания или какого либо предмета) или автоматически по заданным свойствам пикселей (например, отбор всех пикселей, имеющих яркость или координату цвета в заданном интервале). Очень важное свойство маски – это вид ее границы. На рисунке 5.1 показаны различные виды границ маски, то есть, переходов от нулевой прозрачности к 100 %-й.

Рис. 5.1. Различные виды переходов в маске от нулевой прозрачности к 100 %-й.

Маски, полученные автоматически, обычно содержат много мелких изгибов, что бывает полезно (Рис. 5.1а). Маски, сделанные вручную с растушевкой (Рис. 5.1б), имеют плавные переходы, в которых прозрачность меняется от 0 до 100 %. Попиксельные маски тоже имеют плавные переходы, но плавность достигается по-другому. Прозрачность пикселей маски всегда равна либо нулю, либо 100 %, а плавность перехода достигается изменением пропорции прозрачных и непрозрачных пикселей (Рис. 5.1в). Иногда исходная маска без растушевки, дополнительно преобразованная инструментом «искажение» (Рис. 5.1 г), дает хорошие результаты, если характер искажений соответствует фактуре изображения на области перехода.

При разложении по каналам цветового пространства изменению подвергается один из каналов. Например, изменяя яркость каналов sRGB по отдельности, можно управлять цветовым балансом или изменять насыщенность. Повышая резкость канала CIELAB L* с помощью нерезкой маски, можно в меньшей степени затронуть цветность (см. рисунок 5.2). И наоборот, повышая контраст остальных каналов этого ЦП, не изменяя L*, можно усилить насыщенность, не затрагивая яркость и контраст всего изображения.

Рис. 5.2. Представление изображения пейзажа в координатах CIELAB. Насыщенность изображения в каналах a* и b* увеличена.

При разложении картинки по пространственным частотам изменяются только те части изображения, которые представлены выбранным диапазоном частот. Например, выполняя тональное сжатие низкочастотной части HDR-изображения в более сильной степени, чем сжатие высокочастотной части, часто можно получить неплохой результат (уменьшить диапазон яркостей всей картинки при более полном сохранении контраста деталей).

При использовании разложения по градиентным полям можно корректировать только изменения яркости и цвета, усиливая эти изменения или ослабляя их. Таким образом удается, например, впечатать в снимок радугу или отражение луны на поверхности воды.

К другим способам разложить изображение на составляющие относятся следующие методы, цель которых – обнаружить структуру или интересные закономерности в большом массиве данных, в нашем случае, на множестве изображений различных пейзажей:

• анализ главных компонент (principal component analysis, PCA),

• анализ независимых компонент (independent component analysis, ICA),

• поиск наилучшей проекции (projection pursuit).

Поясним очень кратко, суть применения этих методов к изображениям пейзажей.

Выберем сначала цветовое пространство RGB. В этом пространстве пиксели одного изображения пейзажа образуют трехмерное множество, которое можно аппроксимировать эллипсоидом. Оси этого эллипсоида и будут служить главными компонентами (собственными векторами матрицы коэффициентов корреляции координат точек этого множества). А длины полуосей – собственными числами этой матрицы. Для изображений пейзажей оказывается, что направление самой длинной оси эллипсоида близко к направлению оси для координаты L*. Таким образом, метод главных компонент приблизительно осуществляет разложение изображения на яркость и цвет.

Рассмотрим теперь более интересное представление пейзажей в многомерном пространстве. Для этого соберем большое количество изображений разных пейзажей одинакового размера. Для одного изображения из этого множества возьмем из каждого пикселя значение только одной координаты, например, L*, и составим один вектор. Размерность этого вектора будет равна количеству пикселей в изображении. Для другого пейзажа из отобранного множества картинок получится другой вектор.

Ясно, что многие координаты этого вектора сильно связаны (коррелируют) друг с другом. Например, яркости некоторых пар соседних пикселей часто будут приблизительно равны для многих пейзажей из этого множества. А это значит, что множество точек пейзажей не распределено равномерно по некоторой области пространства, а образуют какую-то «тучу» нетривиальной (возможно, замысловатой) формы. Для изучения характера таких корреляций и применяются перечисленные выше методы.

Каждая точка полученного пространства соответствует определенной картинке с этим же количеством пикселей. Все пространство содержит все возможные картинки, которые можно составить из этого количества пикселей. Только вдумайтесь: там находятся иллюстрации всех картин всех художников всех жанров, всех времен и народов, из прошлого и из будущего. Все когда-либо снятые фотографии, и те, которые будут сняты в будущем. И ваши портреты, и мои, и наших далеких потомков. А также портреты всех других людей и всевозможных инопланетян. Изображения доисторических животных и растений. Пейзажи далеких планет.

И все тексты: все страницы всех книг, которые были и будут написаны, переведенные на все языки, существующие, забытые и инопланетные. Изложены словами разгадки всех тайн и секретов. Описания, технические схемы и формулы еще неоткрытых изобретений. Учебники, которые содержат полные сведения об устройстве вселенной. Книги судеб, в которых описано все, что произойдет с нами в будущем. Продолжать можно бесконечно.

Но, увы! В этом же пространстве находятся изображения всех видов шумов. Картины, фотографии и портреты, изуродованные всевозможными способами. Бессмысленные тексты. Теоремы, содержащие все мыслимые ошибки. И так далее.

В этом-то пространстве какая-то часть точек соответствует пейзажам.

Что можно сказать о форме этой части? Ясно, что в окрестности любой точки, изображающей пейзаж, найдется хотя бы несколько точек-пейзажей. Потому что в любое изображение пейзажа можно внести как угодно малое изменение такое, что получится тоже пейзаж. Некоторые малые изменения, например, маленький красный треугольник, создадут изображение, уже не являющееся пейзажем в строгом смысле. Если соединить линией две точки-пейзажа, и двигаться вдоль нее, то один пейзаж плавно преобразуется в другой, но не ясно, можно ли так провести линию, чтобы все промежуточные картинки тоже были пейзажами.

В общем, без компьютера понять свойства множества точек-пейзажей, видимо, нельзя. И методы, перечисленные выше, позволяют кое-что увидеть в структуре этого множества. Но сначала нужно преодолеть два препятствия, что, впрочем, делается достаточно легко.

Во-первых, компьютеру нельзя предъявить математически строгое определение того, что есть пейзаж, а что – нет, потому что такого определения не существует. Но вместо этого можно показать набор картинок, которые будут служить примерами пейзажей. Чем больше такой набор, тем лучше определено, что такое пейзаж.

Вторую сложность внимательный читатель уже мог заметить. Если указанное пространство строить для яркости пикселя, то часть пространства для отрицательных яркостей не будет соответствовать никаким картинкам. Поэтому при разложении изображения пейзажа на части, эти части могут содержать отрицательные яркости, что не очень наглядно. Эта трудность обходится легко, например, вместо яркости можно использовать ее логарифм. В полученном пространстве любая конечная точка соответствует реально изображаемой картинке.

Имея набор изображений разных пейзажей, с помощью перечисленных методов любой цветовой канал каждого из этих пейзажей можно представить в виде суммы базовых картинок (одних и тех же для всех пейзажей из набора) таких, что:

• сложив попиксельно все базовые картинки, каждую со своим весом, мы получим исходный цветовой канал (веса для разных пейзажей будут разные);

• множество полученных базовых картинок будет обладать некоторыми привлекательными свойствами (для каждого примененного метода своими).

Каждый из перечисленных выше методов строит такие картинки по-своему.

Метод главных компонент дает картинки, максимально отличающиеся друг от друга и упорядоченные по «информативности». При этом основной вклад в исходное изображение вносят наиболее «информативные» картинки, соответствующие большим собственным числам (а таких сравнительно немного). Остальные картинки содержат мало информации о пейзаже и много шума. Для математиков скажу, что «максимально отличающиеся» – это значит, что скалярное произведение двух векторов-картинок равно нулю.

Метод независимых компонент дает картинки, статистически независимые друг от друга (или зависимые в минимальной степени). Такие компоненты представляют собой элементарные кусочки изображений, из которых состоит любой пейзаж. А независимость проявляется в том, что для любых двух кусочков присутствие (или отсутствие) в пейзаже одного кусочка не влияет на то, содержится ли в этом пейзаже другой кусочек. И снова малые фрагменты полученных элементарных картинок оказываются похожими на картинки, на которые настроены рецептивные поля нейронов зрительной коры человека (см. главу 1)!

Поиск проекций дает картинки, различающиеся максимальным образом в смысле некоторого критерия. Задавая этот критерий по-разному, можно получать картинки, содержащие различные яркостные или цветовые структуры, присутствующие в пейзажах.

Далее в этой главе рассмотрим основные из перечисленных способов разложения изображения на части подробнее.

Рассмотрим для простоты двухмерное черно-белое изображение. Математически оно может быть представлено попиксельно, то есть, набором троек (две координаты пикселя, яркость пикселя). Но можно также представить его в виде разложения по некоторым функциям. Для разложения изображения методом Фурье – это двухмерные синусоидальные волны, поэтому изображение представляется набором четверок (угол распространения волны, амплитуда, частота и фаза волны). Такое представление показывает, какие частоты имеются в изображении, каково их направление, амплитуда, и как они сдвинуты друг относительно друга. Если провести на изображении линию и двигаться вдоль нее с равномерной скоростью, то яркость иногда будет меняться медленно, а иногда быстро. В первом случае мы обнаружили низкую пространственную частоту, а во втором – высокую. Но поскольку в разложении Фурье суммируется информация для всех линий, покрывающих изображение, то остается неизвестным, в каких именно местах встретилась та или иная частота.

Для цветного изображения разложение Фурье выполняется для каждого цветового канала независимо. Результаты объединяются, и мы получаем цветную спектрограмму, каждая точка которой содержит три амплитуды (или фазы) для трех цветовых каналов.

На рисунке 5.3 показана спектрограмма Фурье для изображения пейзажа (поле неподалеку от села Сырьяны в Кировской области). Изображение логарифмов амплитуд частот (Рис. 5.3б) пришлось сильно высветлить, чтобы стала видна структура. Дело в том, что амплитуды частот чрезвычайно малы, за исключением нескольких частот в окрестности центра спектрограммы (нулевая частота и близкие к ней). Непреобразованная спектрограмма выглядела бы как черный квадрат с центральной светлой точкой.

Рис. 5.3. Изображение пейзажа и его разложение Фурье.

Светлые линии, похожие на координатные оси на рисунках 5.3б, в, возникают из-за прямоугольных краев изображения. На спектрограмме картинки с круглой рамкой такие «оси» менее заметны (Рис. 5.4). Влияние круглых краев, конечно, тоже есть, но оно размазано и не очень заметно.

Рис. 5.4. Влияние формы рамки кадра на коэффициенты разложения (пояснения в тексте).

Светлые лучи, проходящие через центр спектрограммы (амплитуды), показывают направления пространственных частот, характерных для данного изображения.

Чтобы понять, как точки спектрограммы связаны с картинкой, попробуем вырезать часть спектра маской и получить картинку, соответствующую вырезанной части спектра. Сначала оставим только одну центральную точку (нулевую частоту). Получим равномерно окрашенный прямоугольник. Это средние яркость и цветность изображения (Рис. 5.5).

Рис. 5.5. Центральный пиксель спектрограммы соответствует средним яркости и цвету (увеличение маски 400 %).

Теперь оставим в спектрограмме только три центральных пикселя (Рис. 5.6) и, затем, два нецентральных пикселя (Рис. 5.7). В последнем случае, снова пришлось высветлить картинку. Два симметричных относительно центра пикселя дают одну пространственную волну, идущую в том направлении, в котором пиксель отстоит от центра. Чем больше расстояние от пикселя до центра, тем меньше длина волны и тем больше частота.

Рис. 5.6. Три центральных пикселя маски, лежащих на вертикальной оси, дают фон изображения и одну пространственную волну, направленную по вертикали, с длиной волны, равной высоте изображения (увеличение маски 400 %).

Рис. 5.7. Два нецентральных пикселя маски дают одну пространственную волну (пояснения в тексте, увеличение маски 400 %).

Теперь оставим в изображении только те волны, которые идут в более или менее вертикальных направлениях (от северо-востока до северо-запада, Рис. 5.8), а затем – в горизонтальных (от юго-востока до северо-востока, Рис. 5.9). Сравнив полученные рисунки, можно увидеть, что изображение этого пейзажа содержит больше волн, идущих в вертикальном направлении, чем идущих в горизонтальном.

Рис. 5.8. Пиксели маски, дающие волны с направлениями от СВ до СЗ (пояснения в тексте).

Рис. 5.9. Пиксели маски, дающие волны с направлениями от ЮВ до СВ (пояснения в тексте).

И, наконец, вырежем только такие волны, которые идут в определенном направлении, и близкие к ним. Здесь вновь потребовалось усилить яркость и контраст полученного изображения (Рис. 5.10).

Что получится, если из изображения вычесть некоторые частоты? Или чуть-чуть размыть спектрограмму? Результат показан на рисунке 5.11. Можно видеть, что вычитание частот приводит к появлению на изображении полос, которые ранее компенсировались вычтенными частотами. А изменения фазы сильнее влияет на картинку, чем аналогичное по величине изменение амплитуды.

Рис. 5.10. Пиксели спектрограммы, дающие волны с направлениями, лежащими в узком секторе (пояснения в тексте).

Рис. 5.11. Изображения, восстановленные после изменений спектра Фурье (пояснения в тексте).

Таким образом, типичное изображение пейзажа состоит из небольшого количества низкочастотных пространственных волн с большой амплитудой и миллионов волн разных направлений и более высоких частот с ничтожно малыми амплитудами. В сумме получается изображение, в котором пространственных волн может быть совсем не видно.

На рисунке 5.12 показано распределение амплитуд спектра Фурье для этого же пейзажа в логарифмическом масштабе по обеим осям. Что произойдет с изображением пейзажа, если занулить все амплитуды, меньшие некоторого порога?

На рисунках 5.13 и 5.14 показаны картинки и соответствующие им спектры для нескольких значений порогов.

Рис. 5.12. Распределение амплитуд спектра Фурье в логарифмическом масштабе (пояснения в тексте).

Рис. 5.13. Последствия зануления всех амплитуд спектра Фурье, меньших некоторого порога.

Рис. 5.14. Последствия зануления всех амплитуд спектра Фурье, меньших некоторого порога.

Предположим, что мы применили инструмент «кривые» к спектрограмме амплитуд, а затем результат преобразовали в изображение. Что получится?

Если увеличить глобальный контраст спектрограммы, то это будет означать, что большие амплитуды станут больше, а малые – меньше. Если изменения затронут небольшое количество частот, то, скорее всего, появятся полосы и сетка из пятен.

Действительно, яркость точки изображения равна сумме амплитуд (с учетом фаз) всех возможных волн в этой точке. Часть этих амплитуд будет увеличена нашим преобразованием, а часть – уменьшена. В среднем можно полагать, что светлые точки изображения содержат больше больших амплитуд, чем маленьких, и, следовательно, яркости светлых точек увеличатся. Соответственно, яркости темных точек уменьшатся. Значит, произойдет усиление контраста изображения. Но это – в среднем. В реальности увеличение яркостей светлых точек окажется неодинаковым для точек одной и той же яркости, а будет зависеть от соотношения количества больших и малых амплитуд волн – слагаемых яркости в этой точке.

Редактируя попиксельное представление, мы изменяем изображение в определенном кусочке картинки. Редактируя представление в виде разложения Фурье, мы изменяем только те вариации яркости картинки, которые изображаются с помощью определенного набора пространственных частот, но зато во всем изображении сразу.

Изменяя представление изображения пейзажа в виде разложения Фурье можно сделать следующее:

• размыть картинку (подавление высоких частот);

• выделить границы (подавление низких частот);

• повысить резкость (усиление высоких частот);

• изменить контраст (пример, см. в главе 6);

• увидеть свойства изображения (периодические составляющие), невидимые в обычном представлении.

Другие применения:

• сжатие изображения в формате jpeg (подавление высоких частот);

• удаление периодического шума;

На практике разложить изображение на слои, соответствующие разным интервалам пространственных частот, можно разными способами:

• воспользоваться готовыми программами (например, ImageMagick);

• в графическом редакторе применить гауссово размывание, фильтр высоких частот (High Pass) и нужные режимы наложения слоев;

• в графическом редакторе выполнить операцию свертки с нужными ядрами;

• написать программку (5–10 строк) на MATLAB или octave.

Вейвлет-разложение (wavelet, маленькая волна, всплеск, «барашек») вместо бесконечных двухмерных синусоидальных волн (как это делает разложение Фурье) использует специальные одномерные функции, отличные от нуля только на небольшом интервале (носителе функции). Определено около сотни семейств вейвлет-функций, которые различаются симметрией, гладкостью, частотами спектра Фурье и другими свойствами.

Рис. 5.15. Представители некоторых семейств вейвлет-функций.

Выбрав конкретную вейвлет-функцию из некоторого семейства, мы можем для любого пикселя изображения вычислить вклад этой функции в окрестность данного пикселя. Для этого потребуется через этот пиксель провести прямую линию в некотором направлении, сдвинуть вейвлет-функцию вдоль этой линии так, чтобы центр функции пришелся на выбранный пиксель, и проинтегрировать (то есть, усреднить) вдоль этой линии произведение вейвлет-функции и яркости картинки. Получим число, равное вкладу данной вейвлет-функции в окрестность этого пикселя вдоль выбранного направления. Пройдясь по всем пикселям изображения, не меняя выбранного направления линий, получим матрицу чисел, описывающую вклад данной вейвлет-функции в каждую точку полного изображения вдоль выбранного направления.

Полученная матрица является одним слоем вейвлет-разложения и содержит только часть информации об изображении. Во-первых, длина отрезка, на котором выбранная вейвлет-функция отлична от нуля (носитель функции), задает масштаб тех деталей изображения, вклад которых учитывается. Вклады более мелких и более крупных деталей теряются (усредняются). Во-вторых, полученная картинка описывает вклад в изображение только тех изменений яркости, которые идут в выбранном нами направлении.

Чтобы получить вейвлет-разложение, содержащее всю информацию об изображении, нужно проделать описанное выше действие для разных длин носителей вейвлет-функции (разных разрешений) и вдоль разных направлений. Различные длины носителей получают, последовательно сжимая или растягивая выбранную вейвлет-функцию по горизонтали в два раза. В качестве направлений берут горизонтальное и вертикальное.

На рисунке 5.16 показан снимок пейзажа, 9 слоев вейвлет-разложения для разных разрешений и остаточный слой. Остаточный слой описывает вклад в картинку всех сильно растянутых вейвлет-функций (с большим носителем), что соответствует результату применения низкочастотного фильтра. Каждый из остальных слоев содержит вклад вейвлет-функций, имеющих определенный коэффицинт сжатия/растяжения (определенную длину носителя). Чем сильнее сжата функция, тем более мелкие детали изображения проявляются в данном слое. В этом смысле слой содержит информацию, полученную применением к изображению полосового фильтра, причем, чем сильнее сжата функция, тем больше средняя частота полосы и тем шире полоса частот. На практике остаточный слой получают вычитанием из исходного изображения всех полученных слоев вейвлет-разложения.

Если коэффициенты разложения Фурье изображаются в виде спектрограмм, то коэффициенты вейвлет-разложения двухмерного изображения представляются в виде скалеограмм.

Так же, как и в случае разложения Фурье, вейвлет-разложение выполняется для каждой координаты цветового пространства независимо. Полученные коэффициенты интерпретируются как координаты этого же цветового пространства, поэтому изображения слоев имеют цвет (так же как и спектрограммы Фурье). Коэффициенты вейвлет-разложения могут быть отрицательными, а яркости пикселей – нет, поэтому коэффициент, равный нулю, изображается 50 %-м серым цветом. Положительные коэффициенты светлее, а отрицательные – темнее. На рисунке контраст изображений слоев увеличен, чтобы картинки стали понятнее.

Рис. 5.16. Вейвлет-разложение: а) исходный снимок; б) остаточный слой; в) слои с разными разрешениями (контраст увеличен).

Если для разложения Фурье вычисляются амплитуда и фаза, с которыми данная пространственная частота присутствует во всем изображении, то для вейвлет-разложения вычисляется амплитуда, с которой вейвлет-функция, растянутая или сжатая с данным коэффициентом, дает вклад в окрестности данной точки изображения. Амплитуды растянутых вейвлет-функций дают картинку с низким разрешением. Амплитуды сжатых вейвлет-функций дают картинку с высоким разрешением. Для каждого коэффициента сжатия/растяжения получается картинка всего изображения соответствующего разрешения.

Коэффициент разложения Фурье описывает пространственную волну, присутствующую в изображении, но она относится не какому-то определенному месту картинки, а ко всему изображению сразу. Вейвлет-коэффициент вычислен для окрестности конкретной точки картинки и для конкретного разрешения (коэффициента сжатия/растяжения). Разрешение определяет полосу частот, поэтому в вейвлет-коэффициенте содержится информация как о частоте, так и о точке картинки, к которой эта частота относится.

Однако в обработке изображений существует аналог принципа неопределенности Гейзенберга, который в данном случае утверждает, что нельзя одновременно абсолютно точно определить пространственную частоту и точку в изображении, где эта частота проявляется. Для разложения Фурье частота известна точно, а о точке не известно ничего. Для вейвлет-разложения с увеличением масштаба полоса частот уменьшается, и частота определяется все более точно, но зато размер окрестности точки увеличивается, и положение точки становится менее точным. И, наоборот, с уменьшением масштаба размер окрестности точки уменьшается, и точность определения положения возрастает, но зато полоса частот увеличивается, и точность определения частоты ухудшается.

Коэффициенты вейвлет-разложения определенного масштаба (степени сжатия/растяжения) можно изобразить, заменив каждый rgb-пиксель исходного изображения на 3 коэффициента разложения, по одному коэффициенту для каждого цветового канала. Полученные картинки (скалеограммы) для разных масштабов (разрешений) объединяются в одну в виде мозаики.

При использовании одномерных вейвлет-функций для преобразования двухмерного изображения возможны два подхода. Первая итерация в обоих случаях выполняется одинаково. Начальное разрешение (степень сжатия/растяжения вейвлет-функции) выбирается исходя из частоты Найквиста, то есть так, чтобы носитель начальной вейвлет-функций соответствовал удвоенному размеру пикселя. Вейвлет-коэффициенты вычисляются по строкам и по колонкам независимо.

При разложении по горизонтали вейвлет-коэффициенты вычисляются для каждой второй точки в строке пикселей. Получаем две картинки вдвое меньшего размера: высокочастотную часть (ВЧ, собственно вейвлет-разложение заданного масштаба) и остаточный слой (НЧ, низкочастотную часть).

При разложении по вертикали коэффициенты вычисляются для каждой второй точки в столбце пикселей и тоже получаются два варианта (ВЧ и НЧ).

Берем все комбинации этих двух пар вариантов и получаем следующие четыре матрицы коэффициентов:

1) НЧ по горизонтали и НЧ по вертикали (обозначим как гв);

2) ВЧ по горизонтали и НЧ по вертикали (Гв);

3) НЧ по горизонтали и ВЧ по вертикали (гВ);

4) ВЧ по горизонтали и ВЧ по вертикали (ГВ).

Поскольку обе размерности каждой из этих матриц в два раза меньше соответствующих размерностей исходного изображения, то все четыре матрицы как раз укладываются на площади исходной картинки (см. рисунок 5.17) по следующей схеме:

Все четыре части (клетки) картинки содержат коэффициенты вейвлет-разложения для одного и того же (в данном случае – исходного) разрешения. А различаются они тем, в каком направлении осуществлялось разложение: клетка гВ – по столбцам, клетка Гв – по строкам, клетка ГВ – и по столбцам, и по строкам, т. е., можно сказать, по диагонали. Клетка гв – остаточный слой двухмерного разложения при данном разрешении.

Рис. 5.17. Первая итерация вейвлет-разложения двухмерного изображения (пояснения в тексте, контраст усилен, кроме изображения остаточного слоя).

На рисунке 5.18 показаны изображения, восстановленые с использованием только тех вейвлет-коэффициентов, которые получены при разложении в определенном направлении (объединены слои для всех разрешений плюс остаточный слой).

Рис. 5.18. Объединение слоев вейвлет-разложения с разным направлением (пояснения в тексте).

Для второй итерации растягиваем начальную вейвлет-функцию в два раза (или, что эквивалентно, применяем начальную функцию для изображения, уменьшенного в два раза) и вычисляем коэффициенты разложения для нового разрешения. Возможны два варианта:

1) обрабатываем только остаточный слой (клетку «гв»), чтобы извлечь из него новые, более крупные детали (этот алгоритм называется «вариант JPEG2000», см. рисунок 5.19); клетки Гв и гВ содержат только «детали деталей», они менее интересны, и на этом можно сэкономить;

2) обрабатываем все самые левые и самые верхние клетки, т. е., все те, которые еще могут содержать детали (этот алгоритм называется «тензорный вариант», см. рисунок 5.20);

Рис. 5.19. Вторая итерация вейвлет-разложения двухмерного изображения («вариант JPEG2000», пояснения в тексте, контраст усилен, кроме изображения остаточного слоя).

На рисунке 5.21 показаны скалеограммы обоих методов для пяти итераций.

Примеры применения вейвлет-разложения для обработки фотографий пейзажей приведены в главе 6.

Кроме одномерных вейвлет-функций используются также двухмерные. Кроме того, созданы алгоритмы (например, steerable pyramid, пирамиды с выбором направления), которые позволяют конструировать вейвлет-функции, оптимальные для разложения конкретного изображения. Интересно, что при этом снова получаются элементарные картинки, похожие на картинки, на которые настроены рецептивные поля нейронов зрительной коры головного мозга (см. выше, в параграфе главы 1, посвященном разреженному кодированию).

Рис. 5.20. Вторая итерация вейвлет-разложения двухмерного изображения («тензорный вариант», пояснения в тексте, контраст усилен, кроме изображения остаточного слоя).

Рис. 5.21. Пять итераций вейвлет-разложения двухмерного изображения (оба варианта, пояснения в тексте, контраст усилен).

Метод градиентных полей основывается на том, что для черно-белого изображения (или одного из цветовых каналов) можно построить градиентное поле. При этом для каждой точки изображения определяется градиент яркости, то есть, двухмерный вектор, по направлению которого яркость возрастает быстрее всего, а длина вектора пропорциональна скорости роста яркости.

Для примера на рисунке 5.22 показаны градиентные поля двух модельных изображений, полученных инструментом графического редактора «градиент» (не путать с градиентом-вектором). Этот инструмент предназначен для получения плавного и равномерного перехода, идущего в определенном направлении, от одного цвета к другому. На рисунке в левой колонке показаны радиальные переходы от белого к черному (слева сверху) и, наоборот, от черного к белому (слева снизу). В четырех правых колонках даны компоненты градиентных полей этих модельных изображений. Нулевые значения изображены 50 %-м серым цветом (как и фон), положительные значения светлее фона, а отрицательные – темнее.

Рис. 5.22. Градиентные поля двух модельных изображений (1-я колонка – изображение, далее в колонках: горизонтальная и вертикальная компонента градиента, модуль и направление градиента).

Для радиального перехода от белого к черному яркость возрастает равномерно по направлению от центра к краям картинки (как для воронки в виде конуса). А для радиального перехода от черного к белому – тоже равномерно, но по направлению к центру картинки (как для конуса). Поэтому модуль градиента (изображен в предпоследней колонке) для обоих изображений везде постоянен и больше нуля.

А направление градиента (угол между градиентом и горизонталью, изображен в последней колонке) изменяется от -180 градусов (черный цвет) до +180 градусов (белый цвет).

Перейдем к реальным фотографиям. На рисунке 5.23 показано градиентное поле пейзажа, изображенного на рисунке 5.16а. Серый цвет точек означает, что для таких точек градиенты трех цветовых каналов приблизительно равны. Если градиенты не равны, то, поскольку rgb-компоненты цвета точки градиентного поля пропорциональны градиентам цветовых каналов, то преобладающий цвет точки соответствует большему градиенту.

Рис. 5.23. Градиентное поле изображения с рисунка 5.16а.

Какую пользу можно извлечь из такого представления?

Во-первых, можно преобразовать градиентное поле в различные маски, чтобы разложить картинку на части, соответствующие разным диапазонам значений элементов градиентных полей.

Во-вторых, можно изменить градиентное поле определенным образом и после восстановления получить картинку с новыми желательными свойствами.

В-третьих, можно попытаться скомбинировать градиентные поля двух изображений, чтобы получить их бесшовное соединение.

Рассмотрим первый вариант. Поле модуля градиента можно использовать для построения маски, выделяющей те области изображения, в которых модуль градиента принимает значения из заданного интервала. Используя инструмент «порог» для слоя с градиентным полем, легко получить маску, вырезающую любой нужный интервал модулей градиентов, и обрабатывать только соответствующие области снимка.

На рисунке 5.24 показано разложение картинки с рисунка 5.16а на три области:

• область малых модулей градиента (Рис. 5.24а);

• область средних по величине модулей градиента (Рис. 5.24б);

• область больших модулей градиента (Рис. 5.24в).

Рис. 5.24. Разложение картинки на области с разными модулями градиентов.

С помощью полученных масок можно, например, выполнить следующее:

• понизив яркость области малых модулей градиента (или повысив локальный контраст этой области) усилить драматизм облачного неба (рисунок 5.25а);

• понизив яркость области средних модулей градиента получить эффект «прорисовки» изображения (рисунок 5.25б);

• понизив яркость области больших модулей градиента усилить локальный контраст (рисунок 5.25в).

Рис. 5.25. Результат затемнения областей изображения с модулями градиентов из разных диапазонов (пояснения в тексте).

Похожие результаты получаются, если вместо понижения яркости использовать увеличение локального контраста. Для областей с разными градиентами можно использовать многие инструменты графического редактора. Проиллюстрировать все варианты невозможно, да и нет смысла. Нужно знать конкретное изображение и то, что с ним надо сделать. Если это можно сформулировать в терминах градиентных полей, то станет яснее, что нужно попробовать.

Разложим картинку на области с разными направлениями градиентов (см. рисунок 5.26) и попробуем затемнить или увеличить насыщенность одной из них. Видим, что затемнение области с направлениями градиентов, лежащими в определенном угле, приводит к появлению рельефа (см. рисунок 5.27а, б). Результат повышения насыщенности только для точек, в которых направление градиента лежит в угле от 0° до 180° показан на рисунке 5.27в.

Рис. 5.26. Разложение картинки на области с разными направлениями градиентов.

Нужно отметить, что результаты, показанные на рисунках 5.25 и 5.27, получены для жестких масок. Отсюда резко выраженная «зернистость», которую, конечно, легко устранить небольшим размытием жестких масок.

Рис. 5.27. Результат затемнения или повышения насыщенности областей изображения с направлениями градиентов из разных диапазонов (пояснения в тексте).

Ради интереса я пробовал объединять слой изображения со слоем его градиентного поля в разных режимах наложения слоев. Иногда это дает интересные картинки, но для данного кадра я ничего полезного не обнаружил (если оставаться в рамках фотореализма), за исключением нескольких случаев необычного изменения локального контраста.

На предыдущих картинках были показаны примеры изменений градиентных полей в цветовом пространстве RGB. Это же можно делать и в CIELAB (см. рисунок 5.28).

Рис. 5.28. Представление картинки в координатах CIELAB.

Градиентные поля в этих координатах приведены на рисунке 5.29. Цвет в колонках 2 ÷ 5 объясняется тем, что там изображен исходный пейзаж, в котором координату яркости L* я заменял последовательно на компоненты градиентного поля. Тем самым сохранялся цвет точек картинки, а яркостью точки служило значение компоненты.

Рис. 5.29. Градиентное поле этой картинки в координатах CIELAB. В строках, сверху вниз: 1) координата CIELAB L*; 2) координата CIELAB a*; 3) координата CIELAB b*. В колонках, слева направо: 1) исходное изображение; 2 и 3) проекции градиента на горизонтальную и вертикальную оси; 4) модуль градиента; 5) направление градиента.

Видим, что простор для творчества большой. Гибкость – тоже присутствует. Можно, например, получить карту насыщенности и ее градиентное поле (см. рисунок 5.30). В этом случае открывается возможность изменять части изображения по-разному, в зависимости от градиента насыщенности. Может быть, для какого-то изображения пейзажа это окажется интересным.

Рис. 5.30. Карта насыщенности и ее градиентное поле.

Перейдем к способам объединения двух изображений с учетом их градиентных полей.

Восстановление изображения по его градиентному полю является достаточно сложной операцией, которая на момент написания этой книжки не входила в перечень стандартных инструментов графических редакторов. Думаю, что скоро войдет. Приведенные ниже результаты получены с помощью нескольких программ с открытым кодом, скачанных из интернета.

Из того факта, что градиентное поле содержит информацию только об изменениях значений координат цветового пространства и не содержит сами значения, вытекают два важных обстоятельства.

Во-первых, для восстановления изображения по его градиентному полю нужна дополнительная информация, например, значения пикселей хотя бы для некоторой части картинки.

Во-вторых, взяв эти дополнительные значения из другой картинки, мы получим изображение, «адаптированное» к другой картинке!

Проиллюстрируем сказанное на примере достаточно грубого «впечатывания» одного изображения в другое. Впоследствии обсудим, когда этот метод дает хорошие результаты, а когда – плохие.

На рисунках 5.31 и 5.32 в один и тот же исходный кадр впечатано два варианта полевой дороги. Видим, что дорога приобрела оттенки цвета, свойственные новому окружению.

Рис. 5.31. Пример использования градиентного поля для объединения частей изображений.

Рис. 5.32. Пример использования градиентного поля для объединения частей изображений (второй вариант).

Чтобы еще более проявить этот эффект, попробуем впечатать дорогу в совершенно неподходящее окружение (см. рисунок 5.33). Дорога стала синей!

Рис. 5.33. Пример использования градиентного поля (пояснения в тексте).

Во всех трех случаях на вставленной заплате местами видны растекания цвета, которые хотелось бы устранить. Чтобы понять, откуда они возникают, необходимо немного углубиться в детали примененного алгоритма. Края заплат были (достаточно произвольно) определены жесткой маской (на рисунках не показана), пиксели которой равны либо нулю, либо единице. Новое изображение заплаты получалось, исходя из ее градиентного поля и значений пикселей исходного кадра, попавших на границу заплаты.

В тех местах края заплаты, где наблюдается чрезмерная «адаптация», на границу попали неудачные пиксели.

В общем случае идеальное впечатывание получается тогда, когда векторы градиентов для точек края заплаты совпадают и по модулю и по направлению с градиентами соответствующих точек исходного изображения. Чем больше эти пары градиентов различаются, тем хуже сшивка. Там, где эти пары градиентов сильно различаются, и происходит излишняя «адаптация». Немного сместив границу в этом месте, часто удается убрать лишний цвет. Другой способ – немного поменять цвет граничных пикселей в исходном изображении.

Для математиков скажу, что восстановление участка изображения по градиентному полю участка и значениям пикселей на границе участка выполняется с помощью решения уравнения Пуассона в частных производных с граничными условиями Дирихле. Другими словами, для восстановления изображения по градиентному полю, нужно это поле проинтегрировать, для чего и требуется решить уравнение Пуассона.

Действенность методов редактирования изображения в градиентном представлении объясняется тем, что в первую очередь человек обращает внимание на большие перепады яркости и цвета по сравнению с малыми. Говорят, есть художники, которые рисуют сразу в градиентном пространстве, затем переводят результат в обычное представление с помощью интегрирования.

Область применения градиентного представления изображения велика:

• сшивка фрагментов панорамы (слияние градиентных полей, градиенты в области шва зануляются, или усредняются, или плавно переводятся друг в друга);

• повышение кажущейся резкости (модули всех градиентов увеличиваются одинаково, направления сохраняются);

• избирательное повышение резкости (отыскиваются крупномасштабные границы, затем усиливаются только те градиенты, которые пересекают эти границы);

• HDR-изображения (уменьшение градиентов яркости);

• редактирование градиентного представления изображения (Poisson image editing; заполнение дыр нулевым градиентным полем; впечатывание кусков, даже если кусок содержит «дырявый» или полупрозрачный объект);

• удаление ненужных деталей (например, отражений и бликов), объектов и испорченных областей (тень от фотографа, градиентное поле для дыры вычисляется по аналогии с окружением);

• замена освещения (image re-lighting; удаление освещения с помощью зануления малых градиентов);

• удаление шума (нахождение средних или медиан градиентов в серии брекетинга по экспозиции);

• удаление теней (зануление больших градиентов яркости в областях постоянной цветности);

• увеличение глубины резкости (брекетинг по дистанции фокусировки);

• и многое другое.

Другие применения этого метода содержатся в главе 8.

Чтобы показать изображение с большим диапазоном яркостей на устройстве, не могущем этого сделать, приходится этот диапазон уменьшать, то есть, выполнять тональное сжатие. При этом желательно испортить изображение в минимальной степени.

Тональная компрессия может быть выполнена либо глобально (пространственно однородным образом, по одним и тем же формулам для всех пикселей), либо локально (пространственно неоднородным образом, формулы учитывают окружение пикселя). Глобальные алгоритмы включают в себя, например, использование тональной кривой, в том числе заданной логарифмической или степенной функцией или S-кривой, для совмещения точек черного и белого изображения с соответствующими точками выходного устройства. Среди наиболее распространенных глобальных алгоритмов можно назвать гамма-компрессию.

Локальный вариант сохраняет локальный контраст в ущерб глобальному и обосновывается тем фактом, что адаптация зрения происходит не ко всему изображению как целому, а только к его небольшой области (к разным областям по очереди). Кроме этого, зрительная система человека более чувствительна к локальному контрасту, нежели к глобальному.

Изображение может быть подвергнуто сначала глобальной, а затем локальной компрессии. Тональное сжатие может быть выполнено для канала яркостей L* в пространстве CIELAB, или для каждого из rgb-каналов независимо. Во втором случае возможно искажение цвета, особенно в случае локального сжатия.

Глобальная тональная компрессия приводит к уменьшению глобального контраста, и малоконтрастные области могут потерять детали. Локальная – улучшает воспроизведение деталей, но может вызвать появление каемок вокруг темных объектов (гало). Кроме того, можно легко перестараться и получить неестественно выглядящее изображение, например, с неправильным ощущением глубины пространства или перенасыщенными цветами.

В последнее время проблемы большого динамического диапазона привлекли внимание многих специалистов по обработке изображений. В результате появилась масса идей, как надо поступать с HDR-изображениями.

Многие из этих алгоритмов сначала раскладывают исходное изображение на части по какому-то принципу, применяют к полученным частям тональное сжатие (по-разному для разных частей), а затем объединяют измененные части и получают результирующую картинку. Кратко опишем следующие алгоритмы:

• разложение картинки на зоны с разными интервалами яркостей,

• разложение картинки на части, содержащие разные пространственные частоты,

• разложение картинки на поля градиентов,

• выравнивание гистограммы.

Выделение в фотоснимке зон, сильно различающихся по яркости, применялось в фотографии давно. Обычно зоны обозначались римскими цифрами:

• I – самая темная зона, в которой различимы детали,

• V – серая зона,

• IX – самая светлая зона, в которой различимы детали,

Далее принималось решение, каким образом каждая зона будет изображаться на выходном устройстве.

Теперь эта технология усовершенствовалась. Например, для каждой зоны может использоваться своя тональная S-кривая, параметры которой зависят от характеристик зоны (минимальная, максимальная и средняя яркости зоны) и от диапазона яркостей выходного устройства. При этом учитывается также ключ изображения (high key, low key). Если диапазон яркостей снимка на входе достаточно большой, то этот метод может привести к слишком сильному уменьшению локального контраста (внутри какой-либо зоны или между зонами). Современные модификации этого метода допускают существование пересекающихся зон (дает более сглаженный переход между зонами) или даже иерархического дерева зон.

Другой метод (Lightness Perception in Tone Reproduction) состоит в том, что сначала определяется, какой цвет изображения будет восприниматься как белый. Яркость этого цвета принимается за базовую. Затем яркости зон преобразуются линейно с учетом базовой яркости. Благодаря линейности локальный контраст и цветопередача не изменяются.

Идея разложить фотоснимок на части, содержащие разные пространственные частоты, основана на том, что динамические диапазоны полученных частей сильно различаются. Диапазон яркостей низкочастотной части (по крайней мере, для пейзажей) гораздо больше, чем диапазон высокочастотной части (деталей). Кроме того, глаз легко обмануть, если сжать диапазон яркостей низкочастотной части как нужно, а диапазон яркостей деталей – сжать в гораздо менее сильной степени или вообще не сжимать.

Такое разложение часто осуществляется с помощью пирамиды Лапласа (последовательности копий изображения, размер которых уменьшается в два раза при переходе от одной копии к другой). Такие изображения строятся с помощью линейных фильтров. При этом возле границ часто возникает каемка (гало) или обратные градиенты. Этот нежелательный эффект можно уменьшить, применив вместо линейного фильтра нелинейный сглаживающий фильтр, сохраняющий границы. Таких фильтров придумано много, например, двусторонний фильтр (bilateral filter) или анизотропная диффузия (anisotropic diffusion).

Получить части, содержащие разные пространственные частоты, можно также с помощью разложения Фурье, вейвлет-анализа и других методов. Модель восприятия изображений iCAM06 также использует разложение на части, содержащие разные пространственные частоты.

Метод градиентных полей учитывает тот факт, что высококонтрастные области изображения соответствуют участкам с большими градиентами яркости, а области тонких деталей изображения дают градиенты меньшей величины. Если уменьшить только большие градиенты без изменения их направления, то получится изображение с меньшим динамическим диапазоном и при этом не возникнут гало. Для построения градиентных полей часто используются свертки изображения с помощью таких операторов как Sobel или Prewitt.

Метод выравнивания гистограммы перераспределяет яркости пикселей так, чтобы распределение логарифма яркостей точек изображения было более равномерным. Иногда это делается только на низкочастотной части изображения. Цель – сохранить воспринимаемый контраст без потери деталей в тенях и светлых частях.

Многие камеры умеют выполнять тональное сжатие HDR-изображения самостоятельно прямо во время съемки. Для этого нужно включить соответствующий режим. Такое же преобразование могут выполнять редакторы raw-файлов. При этом используется несколько raw-снимков одной и той же сцены с разными экспозициями.

Я предпочитаю снять такую серию и с ее помощью выполнить тональное сжатие вручную.

Чтобы правильно превратить такую серию фотографий в изображение с уменьшенным динамическим диапазоном, строго говоря, нужно было бы выполнить следующее.

1) В каждой фотографии устранить эффекты, связанные с нелинейностью тональной кривой камеры. Для этого нужно сначала измерить эту кривую, фотографируя специальную мишень (например, OECF-карту). К счастью существует способ извлечь эту информацию из исходной серии фотографий (радиометрическая самокалибровка, radiometric self calibration, см. в конце этого параграфа).

2) Попиксельно выравнять фотографии вручную или с помощью какого-либо алгоритма регистрации (image registration, см. следующий параграф).

3) Объединить полученные изображения в картинку с малым диапазоном яркостей с помощью одного из многочисленных алгоритмов слияния изображений (например, exposure fusion).

Возможны два подхода к использованию исходных данных:

• сначала построить HDR-изображение в линейном цветовом пространстве с большой глубиной цветности (32 бит на канал и выше), а затем в этом пространстве выполнить тональную компрессию с помощью конверторов;

• объединить исходные изображения с помощью некоторого алгоритма слияния изображений и сразу получить картинку с низким динамическим диапазоном.

В обоих случаях необходимо указать, какие параметры изображения нужно постараться воспроизвести как можно лучше, а какими можно пожертвовать. Возможны следующие варианты (можно использовать сразу несколько критериев, каждый со своим весом):

• точнее сохранить заданный интервал яркостей за счет ухудшения отображения яркостей в остальных интервалах;

• точнее сохранить контраст в заданном интервале яркостей за счет ухудшения контраста в остальных интервалах;

• точнее сохранить соотношение яркостей за счет ухудшения контраста и насыщенности;

• точнее сохранить контраст на границах и в текстурах за счет ухудшения контраста внутри более однородных областей;

• точнее сохранить насыщенность за счет ухудшения соотношения яркостей и других параметров;

• точнее сохранить значения хорошо экспонированных пикселей (то есть, таких, значение нормированных rgb-координат которых близко к 50 %) за счет ухудшения соотношения яркостей и других параметров.

Многие приемы обработки, использующие несколько изображений одной и той же сцены, требуют, чтобы эти изображения совпадали попиксельно. Несмотря на возможные нелинейные искажения, изменения условий съемки и наличие шумов. Для решения этой задачи разработаны многочисленные алгоритмы регистрации изображений.

Общая схема таких алгоритмов такова:

• отыскание характерных элементов на каждом изображении;

• определение соответствия найденных элементов;

• нахождение необходимого геометрического преобразования;

• выравнивание изображений.

Некоторые алгоритмы находят и совмещают сходные области значений пикселей (первый шаг схемы отсутствует), другие – сходные элементы (точки, линии, контуры, поверхности). Многие алгоритмы используют линейные преобразования (смещения, масштабирования, вращения и другие), другие – нелинейные (эластичные, нежесткие). Нелинейные алгоритмы используют двухмерные сплайны, модели вязких жидкостей и модели больших деформаций.

Некоторые алгоритмы работают с обычным представлением изображений, другие – с представлением изображений в виде набора пространственных частот или коэффициентов вейвлет-разложения.

Методы выравнивания изображений с помощью вейвлет-разложения отыскивают одинаковые (строго или приблизительно) блоки в матрицах вейвлет-коэффициентов, или блоки в матрицах, содержащих только наибольшие из разностей соседних вейвлет-коэффициентов.

Метод совместной гистограммы (joint histogram) состоит в построении многомерной гистограммы с размерностью, равной количеству совмещаемых изображений. Для каждого пикселя изображения определяются его значения (для яркости или для одного из rgb-каналов) для каждого изображения из серии. Затем подсчитывается, сколько раз данная комбинация значений встречается на всем изображении. Полученные частоты и изображаются на этой гистограмме. В случае, когда все изображения строго одинаковы, все столбики ненулевой высоты будут расположены по (многомерной) диагонали гистограммы. Метод выбирает такое преобразование изображений, которое минимизирует энтропию совместной гистограммы.

Построение одного изображения с помощью нескольких кадров делается не только с целью создания панорамы или фото-мозаики. Так метод стопки фокусов позволяет добиться существенного увеличения видимой глубины резкости фотографии. А метод сложения f-ступеней уменьшает ухудшение резкости снимка из-за дифракции при использовании максимальных f-ступеней объектива. Рассмотрим эти два метода по порядку.

Стопка фокусов. Сначала делается несколько снимков одной и той же сцены с разными дистанциями фокусировки, такими, чтобы глубины резкости снимков пересекались. Затем наиболее резкие части изображения на снимках объединяются в одно изображение. При этом должно быть обеспечено попиксельное совпадение изображений. Чем больше снимков, тем более плавного перехода глубины резкости одного снимка в глубину резкости другого можно добиться. Но и тем больше возни с выравниванием снимков. А выравнивать приходится даже при съемке с хорошего штатива, так как при изменении дистанции фокусировки немного изменяется увеличение (то есть, эффективное фокусное расстояние объектива). Объединение частей снимков можно выполнить вручную с помощью масок слоев, а можно попробовать применить специальную программу, например, Helicon Focus, TuFuse, CombineZM, Adobe Photoshop CS4 или более позднюю версию.

На рисунке 5.34 показана зависимость резкости объектов, находящихся на разном расстоянии от объектива, от этого расстояния. Использовались приближения геометрической оптики: формула тонкой линзы, отсутствие дифракции, аберраций и влияния атмосферы. По горизонтальной оси отложено расстояние до объекта, а по вертикальной – диаметр кружка нерезкости. Напомню, что кружок нерезкости (или пятно размытия) – это пятно, в которое расплывается точка физического мира на сенсоре фотокамеры. Иногда кружком размытия называют напечатанный на бумаге кружок, который с расстояния 10 дюймов на глаз воспринимается как точка. Но я этим определением не буду пользоваться.

Разные кривые на рисунке соответствуют разным дистанциям фокусировки. Дистанции фокусировки изображены кружочками на горизонтальной оси. Видно, что наибольшая резкость (наименьший кружок нерезкости) достигается на расстоянии, равном дистанции фокусировки, как это и должно быть. Если фиксировать допустимое увеличение диаметра кружка, задав порог, то получим глубину резкости, то есть интервал расстояний, для которых диаметр кружка остается меньше порога. Обычно порог выбирают равным 20 ÷ 30 мкм для полнокадрового сенсора и меньшему значению для сенсоров меньшего размера.

Пороговое значение диаметра кружка нерезкости, используемое для определения интервала резко изображаемого пространства (РИП), на рисунке показано красной штриховой линией. Видно, что чем меньше дистанция фокусировки, тем меньше глубина резкости.

Рис. 5.34. Зависимость резкости объектов на снимке от расстояния до камеры для трех дистанций фокусировки (f=50, f/2.0, пороговое значение диаметра кружка нерезкости – 25 мкм).

Внутри полученного объединенного интервала РИП резкость остается допустимой, но изменяется волнообразно. Если эти волны заметны на снимке (как, например, на рисунке 5.35а), то количество снимков в стопке было недостаточно велико.

Рис. 5.35. Изображения, полученные методом «стопка фокусов» (стрелками показан провал в резкости).

Сложение f-ступеней. Сначала делается несколько снимков одной и той же сцены с разными f-ступенями диафрагмы. Затем наиболее резкие части изображения на снимках объединяются в одно изображение (при использовании хорошего штатива выравнивать не надо, так как все кадры уже выравнены, таков способ съемки). Выигрыш состоит в том, что те части изображения на снимке с малым отверстием диафрагмы, резкость которых уменьшилась из-за дифракции, заменяются более резкими частями с других снимков (если такие есть). Соответственно, те части изображения на снимке с большим отверстием диафрагмы, резкость на которых уменьшилась из-за уменьшения глубины резкости, заменяются более резкими частями с других снимков. Наибольшая глубина резкости, которую можно получить таким способом, не превышает глубину резкости для максимальной f-ступени объектива. Для объединения резких частей можно использовать те же программы, что и для метода стопки фокусов.

Слияние нескольких снимков одной и той же сцены, сделанных при полностью одинаковых настройках камеры, можно использовать для увеличения отношения сигнал-шум. При этом на изображении могут выступить детали, которые были малозаметны ранее, например, гребень далекой горы в сильной дымке.

Я думаю, что каждому пользователю графического редактора, умеющему применять прямые и обратные свертки (convolutions и deconvolutions, например, аннулировать результат гауссового размывания с помощью деконволюции), приходила в голову идея использовать подходящую деконволюцию для того, чтобы вернуть фокус областям снимка, находящимся вне глубины резкости.

К сожалению, это невозможно по следующим причинам:

• размывание областей снимка, находящихся не в фокусе, не является однородным, а зависит от расстояния от камеры до объекта, то есть не описывается сверткой;

• указанное размывание приводит к потере информации, которая не может быть восстановлена, исходя из размытого изображения; математически это приводит к тому, что при попытке вычислить обратное преобразование Фурье получается деление на нуль;

• деконволюция усиливает шум, который существует на всех пространственных частотах изображения.

Есть несколько идей, как получить такое размывание областей снимка, находящихся не в фокусе, которое не будет зависеть от расстояния (в этом случае размывание будет описываться сверткой, для которой существует обратная). Картинка, полученная такой системой, будет размыта вся, но с помощью обратной свертки резкость можно будет восстановить везде. Эти идеи таковы.

• В момент съемки плавно и непрерывно менять дистанцию фокусировки (focal sweep, плывущий фокус, используются объективы с линзами, изготовленными из оптических жидкостей). При этом размытие примерно одинаково для точек, находящихся на разном расстоянии от камеры. Другой вариант: в момент съемки перемещать сенсор.

• Изменить оптику (wavefront coding, coded aperture, кодирование волнового фронта, кодированная апертура). Варианты: вместо объектива используется массив линз с разными фокусными расстояниями или узор из дырок малого диаметра; или на объектив надевается кольцевая диафрагма с оптимальным отношением радиусов (но этот способ уменьшает контраст). Маски могут быть цветными, чтобы разные длины волн кодировать по-разному.

• В момент съемки затвор многократно открывается и закрывается в точно рассчитанные моменты времени (flutter shutter, кодированная экспозиция). В этом варианте обратное преобразование позволяет с помощью деконволюции полностью устранить размытие движением.

Предложено много вариантов конструкции дополнительного оптического элемента, который устанавливается перед обычным объективом. Форма некоторых таких элементов напоминает седло: почти плоская в середине, но с фестончатыми краями. Полученное на сенсоре изображение является промежуточным и нуждается в цифровой постобработке. При этом, поскольку меняется только фаза входной световой волны, увеличения экспозиции не требуется.

Цели кодирования волнового фронта могут быть разные. Рассмотрим вкратце только такие оптические элементы, которые предназначены для увеличения глубины резкости:

• линейная фазовая маска,

• кубическая фазовая маска,

Эти устройства создают промежуточное изображение, которое размыто все, но размыто одинаково для большого диапазона расстояний. Благодаря этому, исходное изображение может быть корректно восстановлено. Последующая цифровая обработка удаляет размытие и некоторые из оптических аберраций, связанных с фокусом (например, астигматизм, хроматические и сферические аберрации), но добавляет шум и уменьшает динамический диапазон. Зато получается увеличение глубины резкости в несколько (до 10) раз. Лучшие результаты достигаются для изображений с высоким отношением сигнал-шум и большим динамическим диапазоном. Фирма OmniVision Technologies уже использует эту технологию для производства камер мобильных телефонов (TrueFocus sensors).

В идеале повышение резкости без уменьшения изображения должно добавить деталей. Похоже, плагин Sharpen by Synthesis делает это. Плагин Refocus-it повышает резкость, основываясь на минимизации функции ошибок. Для этого используется нейронная сеть Хопфилда (John J. Hopfield neural network).

Достаточно прямолинейная идея заложена в конструкцию камеры, разработанной в компании Adobe Systems: на сенсор большой площади проецируется несколько (19) изображений от объективов, сфокусированных на разные дистанции. Каждое изображение попадает на свой участок сенсора. Полученное мозаичное изображение используется для выбора нужной фокусировки или расширения глубины резкости с помощью комбинирования нескольких кадров.

Эпсилон-фотография. Основная идея – снять большое количество снимков, немного (на малую величину «эпсилон») изменяя параметры камеры во время съемки. А потом, на этапе пост-обработки получить одно изображение с улучшенными характеристиками. Варьироваться могут экспозиция, диафрагма, дистанция фокусировки, направление оптической оси объектива и другие параметры. Достигаемое улучшение может касаться увеличения глубины резкости, увеличения угла обзора, тональной компрессии HDR-изображений, увеличения разнообразия цветов, уменьшения шума, увеличения разрешения и многого другого.

Алгоритмы оценки цветности освещения (авто-баланс белого) основаны на различных предположениях об окружающем мире. Алгоритмы, опирающиеся на физику, предполагают, что известен способ формирования освещения (блики или освещение отраженным светом). Статистические алгоритмы рассматривают набор значений пикселей, из которых составлено изображение, как выборку измерений, и вычисляют цветность белого с помощью статистических методов.

Так алгоритм «серый мир» предполагает, что средние значения rgb-координат всех пикселей изображения должны равняться цвету точки белого (то есть, в среднем наш мир серый). Этот способ сильно ошибется, если значительную часть площади снимка займет не серый или многоцветный объект, а, например, синее небо (в этом случае насыщенность неба после применения этого алгоритма понизится).

Алгоритм MaxRGB предполагает, что в изображении должна встретиться хотя бы одна область белого цвета, потому в качестве точки белого выбирается цвет, составленный из максимальных значений rgb-координат всех пикселей изображения. Этот способ даст ошибку, если в изображении нет бликов, и самая светлая деталь будет цветной. Либо самый светлый пиксель окажется не белого цвета.

Алгоритм «серая гамма» (shades of grey) в качестве оценки точки белого вычисляет p-норму Минковского (среднее значение rgb-координат в степени p). Для p = 1 это совпадает с алгоритмом «серый мир», а для p, стремящегося к бесконечности – с алгоритмом MaxRGB. Для промежуточных значений p, например, p = 5 или 6, получается алгоритм, более независимый от шума в изображении, но, все же, ориентирующийся на цветность наиболее светлых частей картинки.

Алгоритм «серая граница» (grey edge) определяет точку белого усреднением изменений значений пикселей изображения, возведенных в степень p (формулу, конечно, не привожу).

Сложности алгоритмов не видно предела, но, похоже, для каждого алгоритма легко подобрать изображение, на котором он сработает плохо.

Для задачи сшивки кадров панорамы математики тоже придумали много вариантов решения. Основные способы сглаживания швов следующие:

1) линейный градиент (градиентная маска);

2) Пуассоновское слияние (Poisson blending, Laplacian membrane), в том числе:

а) с выравниванием экспозиций кадров;

б) с сохранением яркости и поля градиентов в окрестности границы;

3) разные градиентные маски для разных разрешений (масштабов, интервалов пространственных частот);

4) разные градиентные маски для разных разрешений, плюс удаление ошибок, связанных с параллаксом и движущимися объектами (content-aware blending algorithms).

Результаты применения некоторых из этих способов зависят от порядка фрагментов, в остальных случаях такой зависимости нет. Одни способы требуют попиксельного совпадения пересечения фрагментов, другие менее чувствительны к этому.

Для некоторых способов характерна диффузия цвета (утечка цвета).

Общая схема этих алгоритмов такова. Из общих соображений выбирается некоторый (привлекательный, многообещающий) класс преобразований плоскости на плоскость. Затем для конкретного изображения вычисляются такие значения параметров выбранного вида преобразований, которые минимизируют какой-либо критерий (обычно, типа среднеквадратичной ошибки).

Например, слияние по Пуассону работает так. Берем заплату (пусть это будет кусок ночного неба с яркой луной), которую нужно впечатать в совсем другой снимок (темная поверхность лесного озера). Преобразуем заплату так, чтобы максимально сохранить ее поле градиентов, но чтобы на границе векторы градиентов заплаты по возможности совпали с градиентами изображения, в нашем случае, озера. Интегрируем полученное градиентное поле и получаем заплату, которая объединяется с фоновым изображением без швов.

Другой алгоритм (As-projective-as-possible image stitching) предлагает сначала выполнить оптимальное линейное (проективное) преобразование, а затем для малых областей, в которых изображения плохо совместились, выполнить нелинейное преобразование. Что позволяет улучшить сшивку за счет искривлений пространства в малых областях в надежде на то, что это не будет заметно.

Сшивку фрагментов с помощью многомасштабного разложения проиллюстрируем на примере рисунка 5.36. Оба исходных фрагмента (Рис. 5.36а) содержат как крупномасштабные элементы (цветной фон), так и мелкомасштабные детали (черные линии).

Рис. 5.36. Сшивка фрагментов с помощью многомасштабного разложения на примере тестового рисунка.

Если сшить их с помощью широкой маски, сделанной большой мягкой кистью, то фон будет сшит хорошо, а детали – плохо (Рис. 5.36б). Если сшить фрагменты с помощью узкой маски, сделанной небольшой жесткой кистью, то фон будет сшит плохо, а детали – хорошо (Рис. 5.36в). Если предварительно разложить оба фрагмента на фон и детали, затем сшить оба фона широкой маской, а оба изображения деталей – узкой маской, и объединить полученные картинки, то получим почти идеальный шов (Рис. 5.36 г).

Алгоритм многомасштабной сшивки двух изображений таков.

1. Рисуем маску без растушевки для сшивки фрагментов.

2. Строим три пирамиды Гаусса (серия изображений, линейные размеры которых последовательно уменьшаются в два раза, начиная от исходного размера до одной строки, или столбца пикселей): для маски и для каждого фрагмента.

3. Для каждого фрагмента строим пирамиду Лапласа (разности между двумя соседними изображениями из пирамиды Гаусса, причем меньшее изображение увеличиваем вдвое, чтобы размеры совпали).

4. Пирамиды Лапласа для фрагментов сшиваем, используя маски из соответствующих слоев пирамиды Гаусса для маски.

5. Полученную новую пирамиду Лапласа восстанавливаем до полного изображения.

Следующие приемы и правила позволяют сократить время выполнения операций и повысить предельное количество слоев изображения (а, значит, в частности, и предельный объем создаваемой за один раз части панорамы), которые реально обработать графическим редактором на персональном компьютере:

1) по возможности использовать 64-битную операционную систему с объемом оперативной памяти от 8–16 гигабайт и выше и с высокой тактовой частотой процессора с большим количеством ядер;

2) минимизировать количество и размеры слоев;

3) когда в процессе работы количество слоев станет большим, скопировать видимое изображение в новый проект с единственным слоем и продолжить работу с ним;

4) отключать предварительный просмотр при использовании инструментов;

5) при выполнении операций, которые работают с активным слоем (например, уровни, кривые), делать слой невидимым;

6) операции, выполняемые над видимым изображением (например, выделение по цвету), применять по частям, разбивая изображение на части и, затем, объединять результаты обработки частей;

7) если нужно подобрать параметры какой-либо операции с помощью нескольких итераций, то будет быстрее итерации выполнять только над представительной малой частью большого слоя;

8) сохранять файлы после каждой трудоемкой операции, желательно с сохранением еще и предыдущего файла, чтобы в случае порчи файла при записи оставался предыдущий вариант. Либо каждый раз сохранять на новое место.

Современные цифровые фотоаппараты (включая камеры мобильников) имеют встроенный набор программ для автоматической обработки фотоснимков. Для пейзажей усиливается насыщенность цвета и немного увеличивается резкость (алгоритм нерезкой маски).

Я в своей камере автоматическую обработку изображений отключил (выбираю режим neutral что, видимо, соответствует перцепционной колориметрии, или faithful – относительная колориметрия?). Так как все равно буду обрабатывать снимок на компьютере, то уж лучше начать с исходного материала, а не с того, который был уже обработан по каким-то универсальным алгоритмам. Отключил все, что мог: в том числе Highlight tone priority (перераспределение динамического диапазона для более плавного перехода от 18 %-го серого к ярко белому) и авто-баланс точки белого.

Но, если пост-обработка снимка не предполагается, то авто-обработка нужна. Во-первых, для частичной компенсации изменения условий просмотра (в частности, фотоснимок просматривается при существенно меньшей освещенности, чем исходный пейзаж, поэтому воспринимаемые контраст и насыщенность снимка меньше, и это нужно компенсировать). Во-вторых, многим нравится, что снимок получается красивее действительности. Я тоже считаю, что красивая картинка пейзажа лучше «натуральной» картинки пейзажа.

Рис. 6.1. Влияние профиля DCP.

Я использую профиль DCP для моей камеры (только линейную часть – матрицу цвета). Без этого профиля цвета немного смещены в красную сторону (зелень менее зеленая, см. Рис. 6.1). Правда, с профилем песок получился зеленоватым (а, может, и нет). Возможно, требуется цветокоррекция. Но, поскольку для пейзажей растительность встречается чаще, чем песок, использовать профиль DCP смысл есть.

Рис. 6.2. Влияние профиля DCP. Гистограммы изображений с рисунка 6.1.

Наверно, бывают случаи, когда снятый кадр с пейзажем идеален и не требует улучшения. И солнце стояло, где надо, и прозрачность атмосферы соответствовала замыслу, и лишних объектов в кадр не попало. И ничего нужного не срезалось, и диапазон яркостей как раз оптимальный (нет пиков или бугров на краях гистограммы). И на сенсоре камеры нет ни пылинок, ни горячих пикселей, и т. п., и т. п… Но, у меня, к сожалению, такого не бывает. Увы, я не ас. Что-нибудь, да не так! Нельзя же все отснятое выбрасывать! Тут и спасает пост-обработка.

В интернете легко найти массу приемов пост-обработки, от элементарных до весьма замысловатых. В этой книжке способы редактирования пейзажей описаны с единых позиций и в совокупности образуют полный набор алгоритмов, достаточный для того, чтобы удовлетворить потребности улучшения практически любого пейзажа. Я не буду приводить конкретные параметры используемых инструментов редактирования, потому что они для разных снимков разные, а, кроме того, подбирать правильные значения нужно творчески, а не копировать чьи-то чужие. Иногда буду преувеличивать степень применения инструментов для того, чтобы стало понятнее, о чем идет речь.

И немного о терминах. Когда я буду говорить о светлых или темных частях изображения, то буду употреблять слово «яркость» (brightness), хотя нужно было бы, наверно, говорить «светлота» (lightness, субъективная яркость, которая оценивается по сравнению с субъективной яркостью самого светлого участка изображения). Кроме этого, буду игнорировать нюансы в определениях терминов «полнота цвета», «красочность» (colorfulness, степень, с которой область просмотра воспринимается как цветная; это интуитивно понимаемое понятие), «чистота цвета» (saturation, полнота цвета области просмотра, которая оценивается по сравнению с ее субъективной яркостью), «относительная насыщенность» (chroma, полнота цвета области просмотра, которая оценивается по сравнению с белой областью такой же яркости) и использовать слово «насыщенность» в бытовом понимании.

Есть общие приемы работы с графическими редакторами, следуя которым можно избежать многих проблем. Это, конечно, не догмы, но в большинстве случаев их следует придерживаться (упрощает жизнь).

1) Перед выполнением очередного шага обработки слоя нужно копировать этот слой и обрабатывать копию, сохраняя исходное состояние слоя. Это позволит в случае необходимости легко отменить шаг обработки целиком или только для некоторых частей изображения с помощью маски. Это будет возможно, даже если этот шаг был выполнен три дня тому назад, и после него уже было сделано еще двадцать шагов!

2) В частности, не корректировать изображение в слое, а создавать новый слой, содержащий только изменяемую часть, и корректировать его.

3) Маска с небольшим радиусом растушевки, созданная автоматически с помощью соответствующего инструмента (выделение по цвету и другие), при обработке пейзажей во многих случаях дает более естественный результат, чем маска, созданная вручную. В основном, за счет обилия мелких деталей, которые невозможно отрисовать кистью или карандашом. Правда, эти детали не всегда соответствуют своему окружению (например, не похожи на шероховатость границ объекта, который вырезается маской). Тут уж надо подходить творчески. А маски с сильной растушевкой делают вручную, большой мягкой кистью.

4) Оценивать результат шага обработки следует при разном масштабировании изображения: от изображения, целиком помещающегося на экране, до 100 %-го увеличения, так как разные дефекты заметнее при разных масштабах.

5) Кадр лучше затемнять, чем осветлять, чтобы не высветлить те участки изображения, где отношение сигнал/шум мало (тени) и шум стал бы виден.

6) Если нужный результат получился с помощью нескольких итераций применения инструмента, то лучше вернуться к исходному состоянию и выполнить эквивалентное преобразование за один раз. Иначе резкость может пострадать сильнее.

7) При обработке больших изображений, когда графический редактор работает на пределе возможностей компьютера, некоторые приемы, описанные в параграфе 5.10, позволяют немного улучшить ситуацию.

Провал в тенях – это такой темный (недоэкспонированный) участок изображения, в котором не различимы детали. В пределе – область, залитая цветом RGB (0,0,0). Пересвет – это такой светлый (переэкспонированный) участок изображения, в котором не различимы детали. В пределе – область, залитая цветом RGB(100 %, 100 %, 100 %). Поскольку ликвидация провалов в тенях и пересветов выполняется по одной и той же схеме, рассмотрим ее для провалов, а там, где алгоритмы различаются, будем давать пояснения для пересветов.

Все фотографы, работающие с компьютером, конечно, все это умеют делать, но чтобы иметь полную картину, пропустить этот раздел нельзя.

Как уже говорилось выше, большинство камер недоэкспонируют снимки, чтобы обеспечить проработку деталей в ярких областях. При этом могут появиться провалы в тенях. Поэтому важно экспонировать как можно дольше, но не допуская пересветов (ETTR). Повторюсь, что в момент съемки это сделать сложно, потому что большинство камер (за исключением некоторых камер Leica), показывают не raw-гистограммы, а jpeg-гистограммы. А пересвет в jpeg наступает раньше, чем в raw на 1–2 ступеней EV.

Вернемся к ликвидации провалов в тенях и пересветов. Возможны две ситуации: провал уже был на исходном снимке, или возник в результате какого-либо шага обработки изображения, например, при усилении локального или глобального контраста. В последнем случае пропавшие детали находятся в слое графического редактора, который содержит изображение до злополучного шага обработки.

В первом случае, сначала нужно поискать пропавшие на снимке детали теней в других местах. Во-первых, детали могут присутствовать на более светлых кадрах из серии брекетинга по экспозиции. Во-вторых, даже если во всех tiff-файлах серии брекетинга искомых деталей не видно, то они могут быть в raw-файлах. Если это так, то придется вернуться в редактор raw-файлов и экспортировать соответствующий tiff-файл с более светлыми тенями. А если какой-либо провал в тенях или пересвет присутствуют на всех снимках серии, то, значит, диапазон яркостей того, что фотографировалось, не был перекрыт брекетингом по экспозиции. Если площадь дефектных участков снимка велика, то это печальная ситуация.

На кадре с рисунка 6.3 детали в тенях не потеряны, но нужно сделать их светлее.

Рис. 6.3. Исправление провалов в тенях.

Воспользуемся инструментом «кривые». На рисунке 6.4 приведены результаты для некоторых видов кривых.

Во всех случаях необходимо поднять участок тональной кривой над интервалом яркостей, соответствующих теням, которые нужно высветлить. Вопрос лишь в том, как не слишком испортить остальную часть картинки.

Если остальную часть кривой не изменять, то получим вариант 6.4б (на рисунке 6.4а изображен этот же фрагмент кадра до обработки). Контраст падает только для тех участков, которые делаем светлее. Чем темнее участок, тем сильнее падает контраст. Можно было бы не изменять точку черного и оставить начало кривой в нуле. При этом контраст бы увеличился для темной части обрабатываемого интервала яркостей, а для светлой части – уменьшился. Но осветление было бы значительно меньше.

На рисунке 6.4в показан вариант, для которого контраст осветляемых теней сохранен. Но для участков картинки, которые немного светлее, чем обрабатываемые тени, контраст уменьшился.

Рис. 6.4. Исправление провалов в тенях с помощью инструмента «кривые» (пояснения в тексте).

Как лучше всего выбрать тот интервал яркостей, на котором произойдет неизбежное уменьшение контраста? Во-первых, можно использовать особенности конкретного изображения. Если гистограмма имеет глубокие «ложбины» между пиками, то уменьшение контраста можно приурочить к ложбине. Гарантии тут нет, потому что все зависит от того, как располагаются на картинке точки с яркостями из «ложбины». Если они образуют маленькие пятнышки, далеко расположенные друг от друга, то это хорошо. В противном случае уменьшение контраста может быть заметным. Но если даже точек в «ложбине» нет совсем (что редко бывает), яркости левого и правого «берегов» будут сближены, что тоже может стать заметным для некоторых изображений.

На рисунке 6.4 г показан вариант, в котором уменьшение контраста из-за осветления теней спрятано другим образом.

Тональная кривая выбрана без оглядки на то, как изменится остальная часть изображения. Безнадежно испорченная таким образом картинка, в которой более или менее правильно изображены только тени, помещается в слой, расположенный под слоем с исходным изображением. На слой с изображением накладывается маска (Рис. 6.5), которая вырезает тени, и они берутся из нижележащего слоя. Маска создается с помощью выделения по цвету (точнее, по значению CIELAB L* или LCH L) и растушевывается нужным образом.

Рис. 6.5. Маска для теней.

Если в предыдущем способе уменьшение контраста могло проявиться в любом месте картинки, то в данном случае страдают только области на границе маски, точнее, там, где прозрачность маски имеет промежуточные значения между полной прозрачностью и полной непрозрачностью.

Степень растушевки маски не должна быть слишком мала, чтобы на изображении не возникало границ в виде ступенек, но и не должна быть слишком велика, чтобы переход был менее заметным.

На кадре, изображенном на рисунке 6.3а присутствует пересвет, деталей в котором нет ни на одном из кадров серии брекетинга по экспозиции. Им и займемся. Если деталей найти не удалось, остается только их создать. Для этого можно применить методы реконструкции, основанные на экстраполяции данных, содержащихся в соседних с пересветом областях снимка. В самом крайнем случае, можно взять похожее место совсем с другого кадра.

Сначала убедимся, что засветка присутствует и в raw-файле. На рисунке 6.6 показаны гистограммы raw-данных для разных степеней засветки. Raw-гистограмма для кадра рисунка 6.3а похожа на рисунок 6.6б, поэтому потерянные данные придется заменять на созданные вручную. Тем более что для данного большого пятна пересвета (Рис. 6.7а) методы реконструкции засветок программы RawTherapee не дают заметного улучшения.

Рис. 6.6. Гистограммы raw-данных, полученные программой RawTherapee.

Сначала сделаем маску инструментом «выделение по цвету», чтобы более темные островки остались нетронутыми (Рис. 6.7в). Далее заполним область пересвета однородным цветом, который выберем пипеткой на самом краю возле пересвета. И, наконец, чтобы заполненные этим цветом области не выглядели так плоско, инструментом «штамп» несколькими штрихами пририсуем структуру, скопировав ее с близлежащих областей.

Рис. 6.7. Исправление засветки.

Для более крупных по площади пересветов делаем заплату. Вырезаем из кадра-донора нужное место с большим запасом. С помощью инструмента «выделение по цвету (значению)» делаем маску для слоя с заплатой, чтобы из заплаты заимствовать только самое необходимое. Подгоняем заплату геометрически (инструменты «вращение», «изменение перспективы», «преобразование по точкам»). Далее инструментом «кривые» добиваемся согласованности яркостей, контраста и цветов заплаты и исправляемого изображения. Слой с заплатой не объединяем со слоем изображения, так как завтра, может быть, захочется заплату подправить! Несколько слоев с непересекающимися заплатами можно, конечно, объединить в один.

Рассмотрим кадр (Рис. 6.8а), на котором в глубокой тени оказались елки в правом нижнем углу снимка. При попытке высветлить тень с помощью тональной кривой обнаруживается сильный шум в области тени, и появляются хорошо заметные участки с пониженным контрастом (Рис. 6.9б).

Рис. 6.8. Осветление тени с помощью вейвлет-разложения.

Если разложить изображение на несколько уровней с помощью вейвлет-разложения и применить тональную кривую только к остаточному слою (Рис. 6.10), то результат будет лучше (Рис. 6.9в). Интервал яркостей, для которых контраст понижается, я выбрал так, чтобы пострадали области, изображающие поверхность воды. В надежде на то, что для них понижение контраста будет менее заметно. Разумеется, точки с яркостями из этого диапазона присутствуют и в других частях картинки, но там они не образуют сплошных участков.

Рис. 6.9. Фрагмент рисунка 6.8 при 200 %-м увеличении: а) до обработки; б) после применения тональной кривой к исходному кадру; в) после применения тональной кривой только к остаточному слою вейвлет-разложения.

Ослабление шума при такой обработке объясняется тем, что, поскольку шум высокочастотен, он не попадает в остаточный слой и не усиливается при осветлении этого слоя.

Рис. 6.10. Разборка изображения на восемь слоев с помощью вейвлет-разложения: а) объединение слоев 1 ÷ 7; б) остаточный слой; в) применение тональной кривой к остаточному слою.

Разумеется, работа над снимком не закончена. В частности, область тени нуждается в цветокоррекции. Эти вопросы обсуждаются в остальных параграфах этой главы. Другие способы ликвидации провалов и пересветов описаны в главе 8.

В этой области тоже всем все известно. Но ради полноты картины нужно повторить.

Увеличивая или уменьшая глобальный контраст, мы изменяем соотношение яркостей темных и светлых частей равномерно по всему изображению (разницу между светлыми и темными частями фотографии). Это делается с помощью инструментов «уровни» (ограничивая уровни на входе, то есть левый и правый пороги, но не трогая гамму, то есть средний бегунок-треугольничек) или «кривые» (перемещая начало отрезка, идущего по диагонали, по горизонтали вправо, а конец – влево). Чем круче наклон этого отрезка, тем больше глобальный контраст.

Если на гистограмме яркостей справа или слева есть «зазор» (Рис. 6.11а), то повысить глобальный контраст снимка без появления пересветов и провалов в тенях можно одинаково для всех интервалов яркостей (Рис. 6.11б). Если же таких зазоров нет, то повысить контраст можно только для некоторых интервалов яркостей. Для остальных интервалов контраст неизбежно уменьшится. Для повышения контраста на всем снимке за исключением самых темных и самых ярких областей используют кривые S-образной формы (Рис. 6.11в).

Рис. 6.11. Изменение глобального контраста: а) равномерное с помощью инструмента «уровни»; б) равномерное с помощью инструмента «кривые»; в) S-образное с увеличением контраста в средних тонах; г) S-образное с сохранением контраста в средних тонах.

Иногда бывает нужно изменить контраст так, чтобы на краях гистограммы образовались пустые «поля». После такого изменения те операции, которые растягивают гистограмму, можно выполнять без риска клиппировать цветовые каналы слишком быстро. Отодвинуть края гистограммы от точек 0 % и 100 % можно, равномерно понизив глобальный контраст, или, что часто лучше, сжав тени и светлые части изображения с помощью тональной кривой, изображенной на (Рис. 6.11 г).

Чтобы, изменяя контраст, не затрагивать цветность, рекомендуют выполнять преобразование в цветовом пространстве CIELAB.

Увеличивая локальный контраст, мы увеличиваем разницу в яркостях соседних участков изображения заданного размера, то есть, усиливаем контраст крупномасштабных переходов света и тени. Другими словами, в областях с контрастными переходами от темного к светлому делаем светлый – светлее, а темный – темнее. Когда компьютер отрисовывает на экране результат повышения локального контраста (Рис. 6.12), со снимка как будто спадает пелена!

Рис. 6.12. Повышение локального контраста.

Как мы видели в главе 1, глаза и мозг воспринимают в основном локальный контраст, а глобальный – игнорируют, либо домысливают. Поэтому изменяя локальный контраст нужным образом, мы не только делаем изображение четче, но и выделяем важные участки и направляем на них взгляд зрителя.

Увеличение локального контраста можно выполнить с помощью «нерезкой маски». При этом параметр «размер» нужно задать приблизительно равным размеру областей, взаимный контраст которых нужно подчеркнуть. Параметр «величина» регулирует степень увеличения контраста. В предельном случае, если задать «размер» очень маленьким, получим нерезкую маску в чистом виде (используемую для повышения кажущейся резкости, см. раздел 6.5), поскольку область повышения контраста захватит только границы элементов (цветовых пятен) изображения. Результат повышения локального контраста с помощью нерезкой маски нельзя воспроизвести инструментами «кривые» или «уровни», потому что изменение яркости точки зависит не только от исходной яркости этой точки, но и от яркостей соседних точек.

Если параметр «размер» недостаточно велик, на изображении могут появиться ореолы (каемки) (Рис. 6.13а, за деревом и на горизонте). Если параметр «величина» слишком большой, получим изображение с чересчур сильным локальным контрастом (Рис. 6.13б).

Рис. 6.13. Повышение локального контраста.

Повышение локального контраста изображения может привести к появлению пересветов и/или провалов в тенях. В этом случае следует либо уменьшить параметр «величина», либо исправить эти дефекты, как рассказано в параграфе 6.1. Я часто пробую оба варианта (результат, конечно, совсем не одинаков!) и выбираю то, что мне больше нравится.

Усилить локальный контраст можно также с помощью преобразования Фурье. Для этого достаточно изменить амплитуду спектрограммы, точнее, возвести в степень, немного меньшую единицы. Результат показан на рисунках 6.14 и 6.15.

Рис. 6.14. Повышение локального контраста разными методами.

Рис. 6.15. Повышение контраста с помощью преобразования Фурье (возведение амплитуд в степень 0.95).

И снова повторю, что изменяя локальный контраст только для координаты CIELAB L*, мы не затронем цвета. А изменение локального контраста для компонент a* и b* повлияет только на цвета (см. параграф 6.4).

Увеличить насыщенность цветов изображения – легкий способ повысить его привлекательность. Не знаю, почему глаз любит сочные, яркие цвета. В природе в яркие цвета окрашены как приятные (цветы), так и неприятные объекты (некоторые ядовитые животные). Но в обоих случаях цвет призван привлечь внимание. В этом, наверно, и дело.

Вернемся к насыщенности. Некоторые снимки имеют естественно высокую насыщенность (Рис. 6.18а), многие пейзажи – нет (Рис. 6.18б). На первом рисунке желтый цвет приводит к клиппированию синего канала в нуле (4.4 % пикселей), а красного канала в 100 % (2 % пикселей).

Рис. 6.18. Фотоснимки с различной исходной насыщенностью.

Прежде чем изменять насыщенность, нужно решить, в каком цветовом пространстве это делать, каким инструментом воспользоваться и как определить правильную степень изменения. Изменять ли насыщенность глобально, для всего изображения или только для определенных цветов, интервалов яркости или интервалов насыщенности. Например, повысить насыщенность можно только для не очень насыщенных цветов. Или повысить насыщенность только для средних тонов, не трогая тени и светлые части картинки.

Существуют веские соображения в пользу того, что преобразования цвета лучше выполнять в пространстве цветности CIELAB или CIELCH, а не в HSV. Во-первых, LAB и LCH точнее, чем HSV, отражают то, как мы воспринимаем цвета и их разности. Во-вторых, LAB и LCH более или менее аккуратно отделяют яркость (Lightness) от цвета (Chroma и Hue для LCH, a* и b* для LAB), а HSV – нет. Так при изменении HSV Saturation или HSV Hue изменяется и HSV Value. И, наконец, кодировка цвета, используемая мозгом, близка к CIELAB (см. главу 1). Некоторые графические редакторы уже исключили из своего арсенала инструменты, использующие HSV.

Возможности инструментов графических редакторов для изменения насыщенности таковы:

• изменения могут выполняться в разных цветовых пространствах;

• степень изменения задается бегунками отдельно для насыщенных и пастельных цветов;

• степень изменения задается кривой зависимости насыщенности от цветового тона;

• степень изменения задается кривой зависимости насыщенности от исходной насыщенности;

• степень изменения задается кривой зависимости насыщенности от яркости.

Если постепенно повышать насыщенность, то сначала кажется, что чем больше насыщенность, тем красивее (Рис. 6.19а). Потом, вдруг замечаешь, что картинка стала похожа на кадр из мультфильма (Рис. 6.19б).

Рис. 6.19. Увеличение насыщенности.

До какой степени допустимо усиливать насыщенность? Главный критерий – это, конечно, соответствие полученного изображения замыслу фотографа, но существуют и объективные признаки чрезмерной насыщенности.

Если, увеличивая насыщенность, наблюдать за изменениями гистограммы, то будет видно, как, начиная с определенного момента начнут клиппироваться (насыщаться) цветовые каналы RGB. Клиппирование цветового канала (обрезка значений) означает, что область плавного цветового перехода превращается в однородный плоский участок, которого не было в исходном изображении. Это говорит о том, что такая степень повышения насыщенности искажает соотношение цветов некоторых соседних точек. Степень клиппирования можно выразить процентом количества пикселей, имеющих значения 0 % или 100 % хотя бы для одного цветового канала.

Уменьшить или совсем исключить клиппирование можно, увеличивая насыщенность неравномерно, понижая только те участки кривой зависимости насыщенности от яркости или от насыщенности, для которых происходит клиппирование. Другой вариант: способами, описанными в параграфе 6.2, сделать так, чтобы до повышения насыщенности на гистограмме появились пустые участки слева и справа. Тогда при повышении насыщенности на гистограмме будет место для расширения, и клиппирование наступит позже.

Графические редакторы позволяют повысить насыщенность не только всех цветов сразу, но и одного конкретного цвета. Например, после повышения насыщенности всех цветов, можно попробовать дополнительно усилить синий цвет неба. Или наоборот, повышая насыщенность кадра, не повышать насыщенность пасмурного неба (Рис. 6.20).

Рис. 6.20. Неравномерное увеличение насыщенности: а) с помощью зависимости насыщенности от цветового тона; б) с помощью зависимости насыщенности от исходной насыщенности; в) с помощью зависимости насыщенности от яркости.

На рисунке 6.20а насыщенность увеличена для всех цветовых тонов, кроме цвета пасмурного неба. На рисунке 6.20б линейный участок кривой вблизи нуля означает, что насыщенность малонасыщенных пикселей (таких, какими изображено пасмурное небо) не меняется. На рисунке 6.20в линейный участок кривой в правом верхнем углу означает, что насыщенность пикселей с высокой яркостью не меняется. На рисунках небольшого размера разница практически незаметна, но она есть. Обсуждать различия смысла нет, так как для другого изображения все может быть иначе.

На рисунке 6.21 показан кадр, снятый на берегу Вятки у деревни Стеклофилины. Когда-то давно река размыла отвалы местного стеклозавода (которого уже нет) и на берегу до сих пор встречаются россыпи кусочков стекла. Мне захотелось подчеркнуть необычный цвет стеклянной «гальки» повышением насыщенности только этого цвета. Я сделал это с помощью изменения кривой зависимости насыщенности от цветового тона (Рис. 6.22).

Рис. 6.21. Стеклянная галька на берегу Вятки.

Рис. 6.22. Повышение насыщенности для определенного цветового тона.

На любом снимке пейзажа, за редким исключением, хоть что-то должно быть изображено резко. Точнее, должно выглядеть резким при рассматривании с того расстояния, на которое рассчитан снимок.

Кажущаяся резкость зависит от четкости и разрешения. Четкость определяется тем, насколько сильно размыты границы между такими соседними деталями (особенно, мелкими), которые имеют существенно различные яркости. А разрешение указывает на то, насколько мелкими могут быть детали, между которыми в изображении, полученном камерой, все еще видна граница. Разрешение зависит от аппаратуры (объектив и камера), а четкость может быть изменена при пост-обработке внутри камеры или на компьютере.

Разрешающей способностью называют наименьшее расстояние между двумя точками или линиями, видимыми раздельно. Как уже упоминалось, в норме глаз человека способен раздельно воспринимать объекты, угловое расстояние между которыми не меньше одной угловой минуты.

Знающие люди говорят, что перед тем, как повышать резкость, следует сначала подавить шум. Иначе усиление резкости подчеркнет его. Звучит логично, но я с шумом редко сталкивался. Снимаю всегда днем, при ISO 100. Плагинами для подавления шума (Noise Ninja, Noiseware, Neat Image, Grain Surgery и другими) пока не пользовался. Меня пугает то, что подавление шума, естественно, приводит к понижению резкости и детализации.

Что можно сделать в графическом редакторе для повышения кажущейся резкости снимка? Повысить разрешение, кажется, нельзя, разве что прорисовать границы, которые камера не смогла изобразить. Что касается четкости, то тут кое-что можно предпринять:

• использовать алгоритмы, повышающие контраст границ:

– нерезкая маска;

– контраст границ и микроконтраст;

– контраст вейвлет-уровней;

– резкость вейвлет-границ (edge sharpness);

– деконволюция Ричардсона-Люси;

• использовать несколько снимков:

– применить метод стопки фокусов (focus stacking, focus-bracketed exposures);

– применить метод сложения f-ступеней;

– впечатать резкий передний план;

• уменьшить размер изображения.

Наработаны тонны разных методов улучшения резкости. Все их попробовать и описать нереально. Рассмотрим только перечисленные выше. Экспериментировать будем на примере снимка (Рис. 6.23), который хорош тем, что рядом находятся области с неоднородностями разного масштаба (галька и песок).

Рис. 6.23. Результаты применения алгоритма «нерезкая маска».

Применение нерезкой маски создает иллюзию повышения резкости за счет увеличения четкости, то есть, контраста в областях границ объектов (особенно мелких: листьев, веточек, травинок и т. п.) (Рис. 6.23б). Чрезмерное применение нерезкой маски приводит к тому, что каемки по границам объектов становятся видимыми и изображение приобретает белесоватый оттенок (Рис. 6.23в). Нерезкая маска также усиливает шум.

Объекты с размытыми границами (облака или отражения в воде), вообще говоря, не стоит подвергать повышению резкости. Но усилить локальный контраст таких объектов при необходимости вполне может иметь смысл.

Продвинутый вариант алгоритма «нерезкая маска» позволяет задавать зависимость «силы» действия алгоритма от яркости. Часто используется такая функция: интенсивность равна нулю для самых темных областей, далее с повышением яркости быстро достигает максимума, выходит на плато, которое продолжается до светлых областей и затем плавно убывает до нуля к самой большой яркости на изображении.

Другими опциями алгоритма «нерезкая маска» являются параметры «повышать резкость только границ» и «контроль гало (каемок)». Первый параметр позволяет получить более резкие границы, но за счет того, что остальные части картинки станут относительно менее объемными (плоскими) (Рис. 6.24а). Включение контроля гало (Рис. 6.24б) на первый взгляд просто эквивалентно уменьшению интенсивности алгоритма «нерезкая маска», но какая-то трудно уловимая разница все же есть.

Рис. 6.24. Влияние опций алгоритма «нерезкая маска».

Известно много других модификаций алгоритма нерезкой маски. Например, создавая копии слоя и применяя разные режимы наложения слоев, можно уменьшить светлые части каемок на границах (конечно, за счет уменьшения эффекта повышения резкости). Отсылаю читателя к интернету.

Результат применения усиления контраста границ похож на действие нерезкой маски с включенным параметром «только границы»: теряется объем из-за того, что малоконтрастные области начинают выглядеть еще менее контрастными.

Инструмент «контраст вейвлет-уровней» позволяет, как это следует из его названия, изменять контраст для деталей разных масштабов независимо. Если повышение контраста для первых уровней усиливает кажущуюся резкость, то повышение контраста для остальных уровней увеличивает локальный контраст (Рис. 6.25ж).

Рис. 6.25. Результаты применения алгоритмов, повышающих контраст границ (масштаб 800 %): а) исходный фрагмент; б) нерезкая маска (НМ); в) чрезмерная НМ; г) НМ (только границы); д) НМ с контролем гало; е) деконволюция Ричардсона-Люси; ж) контраст вейвлет-уровней; з) резкость вейвлет-границ.

Инструмент «резкость вейвлет-границ» имеет с дюжину параметров, понять смысл которых можно только, если знать детали алгоритма (я не знаю). Либо проделать длинную серию экспериментов. Лучше всего, конечно, и то и другое. Похоже, что этот алгоритм дает возможность тонко управлять преобразованием границ, а заодно и локальным контрастом. Сравнить перечисленные алгоритмы в какой-то степени можно с помощью рисунка 6.25, на котором показано с большим увеличением, во что превращает границы каждый алгоритм. Дело усложняет то, что, если задать не те значения параметров алгоритмов, которые задавал я, то и картинки будут другие. Но тенденции все же должны сохраниться.

Теоретически деконволюция Ричардсона-Люси должна устранять гауссово размывание изображения. Однако размытие, создаваемое объективом, не является гауссовым, поэтому полностью не исчезает после применения этого алгоритма. Мне показалось, что по сравнению с нерезкой маской этот алгоритм работает мягче, но при повышении интенсивности кое-где (например, на песочке) возникают какие-то разводы, напоминающие муар. Задачу сравнивать разные алгоритмы объективно перед собой не ставлю.

Общая схема применения алгоритмов повышения кажущейся резкости в графическом редакторе стандартна. Создаем копию слоя с изображением, применяем к ней нужный алгоритм, и с помощью маски этого слоя делаем прозрачными те участки, которые нужно оставить без изменений.

Пейзаж, изображенный на рисунке 6.26б, получен методом стопки фокусов (см. главу 5). История создания этого пейзажа такова. Я снял 5 кадров с разной дистанцией фокусировки с использованием струбцины, закрепленной на дереве (на рисунке 6.26а показаны только первый и последний кадры). Программа hugin (версия 2017.0) совместила кадры плохо. После того как я поколдовал с параметрами программы (в частности, назначив опорным (anchor) кадром снимок из середины серии), качество совмещения снимков возросло. Но для enfuse (версия 4.2) этого оказалось мало. При изменении дистанции фокусировки немного меняется масштаб изображения, а hugin, похоже, не знает, как с этим справиться. Недолгие попытки выравнять кадры самому тоже ничего не дали. Пришлось жесткие маски, полученные с помощью enfuse (критерий – локальный контраст), подправить вручную (Рис. 6.26вг, показаны только первая и третья маски). После этого сшивка более или менее получилась (Рис. 6.26б).

Рис. 6.26. Результаты применения метода «стопка фокусов».

Я пытался применить метод сложения f-ступеней и снял пять кадров этого же пейзажа с одной и той же дистанцией фокусировки, но с разными диафрагмами. Анализ изображения, полученного программами hugin и enblend, показал, что ожидаемый эффект есть. Но в изображении местами появились каемки вдоль границ. Наложение разных кадров этой серии в режиме «разность» выявило различия в положении теней, ряби на поверхности воды, травинок и листьев на среднем плане и крупных ветвей на дальнем плане. Изменения в пейзаже, вызванные несильным ветерком, превысили те искажения, которые связаны с дифракцией.

Думаю, что этот метод имеет смысл применять только тогда, когда в пейзаже (или важной части его) все замерло.

Приведем два примера, в которых передний план позаимствован с другого снимка. В первом примере более резкий передний план для снимка на Рис. 6.27а возьмем с кадра Рис. 6.27б, снятого с другой дистанцией фокусировки. Разрез проводим по естественной границе (краям лопушков, показан красным цветом). Поскольку граница четкая, то растушевка требуется небольшая.

Рис. 6.27. Ручной вариант алгоритма «стопка фокусов».

Чтобы было яснее, придется привести фрагменты снимков-доноров в 200 %-м увеличении (Рис. 6.28).

Рис. 6.28. Фрагменты снимков-доноров при 200 %-м увеличении.

Во втором примере рассмотрим снимок (Рис. 6.29а). Обширный участок нерезкого песка на переднем плане портит весь вид. Берем передний план с другого кадра (Рис. 6.23) (снятого в этот же день на другом участке берега). Размытую границу проводим по областям, на которых резкость песка на обоих кадрах примерно одинакова. Проверяем, не получилось ли где-нибудь странных переходов от резкого к нерезкому. Результат показан на рисунке 6.29б (полосы песка на переднем плане можно было сделать и потемнее).

Рис. 6.29. Впечатывание резкого переднего плана.

Что происходит с детализацией и кажущейся резкостью при уменьшении размеров снимка? На этот счет в интернете можно найти разные мнения. Чтобы разобраться в этом вопросе, сначала посмотрим, что происходит с изображением при уменьшении линейных размеров на примере тестового рисунка (Рис. 6.30а).

Рис. 6.30. Результат уменьшения тестового рисунка: а) до уменьшения; б) уменьшение в полтора раза; в) уменьшение в два раза; г) уменьшение в четыре раза; д) уменьшение в два раза (с интерполяцией по Ланцошу).

Видим, что при уменьшении линейных размеров без интерполяции (варианты а, б, в и г) полное количество деталей на рисунке уменьшается за счет того, что некоторые черные черточки исчезают, а некоторые – сливаются вместе. Причем, какие именно черточки исчезают или сливаются, зависит не только от их толщины, но и от расстояния между ними и еще от чего-то (от значения координаты х?). Если детализацией называть общее количество деталей на снимке, то при уменьшении размеров изображения детализация уменьшается (по крайней мере, не возрастает). Если же детализацией называть количество деталей на единицу площади (плотность деталей), то для данного изображения она возрастает. Хотя нетрудно придумать изображение, при уменьшении размеров которого плотность деталей станет меньше (для некоторых картинок – уменьшится до нуля, все детали исчезнут).

Четкость тех границ, которые уцелели, изменилась мало для уменьшения без интерполяции, и ухудшилась в случае применения интерполяции (Рис. 6.30д). С уменьшением без интерполяции детали либо сохраняются, либо полностью исчезают. При уменьшении с интерполяцией детали деградируют постепенно и равномерно, что позволяет лучше сохранять общий характер изображения.

На рисунке 6.31 даны фрагменты одного и того же снимка, уменьшенные в 2 и 4 раза с интерполяцией по Ланцошу. Каждый фрагмент показан в 200 %-м увеличении. Можно увидеть, что некоторые детали исчезают, но плотность деталей, похоже, все-таки увеличивается.

Рис. 6.31. Изменение детализации и резкости с уменьшением размеров снимка.

Таким образом, с одной стороны, при уменьшении размеров изображения может увеличиться плотность деталей, то есть, количество мелких объектов (например, листьев) на единицу площади снимка. Кроме того, может увеличиться кажущаяся резкость снимка за счет уменьшения поперечных размеров границ между объектами. Или, что то же самое, за счет уменьшения абсолютного размера пятна, в которое расплывается точка окружающего пейзажа, проходя через объектив камеры (но не относительного, которое не изменяется).

С другой стороны, при уменьшении снимка очень тонкие линии (границы между объектами) исчезают, а более толстые размываются. А это ухудшает детализацию и резкость, но уменьшает шум (который можно расценить как очень мелкие детали).

Суммарный эффект зависит от конкретного изображения и может быть разного знака для разных частей картинки.

Сильное уменьшение размера можно выполнять в два этапа. Например, если снимок с рисунка 6.31 уменьшать вдвое два раза последовательно, то получается чуть-чуть больший локальный контраст, по сравнению со случаем, когда снимок уменьшается сразу в четыре раза.

При уменьшении снимка может возникнуть муар. В этом случае следует попробовать другой алгоритм интерполяции или немного изменить коэффициент уменьшения.

В заключение рассмотрим пейзаж, на котором хотелось бы повысить кажущуюся резкость поля молодой ржи (Рис. 6.32а, поле недалеко от города Просница Кировской области).

Рис. 6.32. Увеличение кажущейся резкости с помощью вейвлет-разложения.

Это можно сделать разными способами. В данном случае было важно выделить детали определенного размера (колосья и тонкие стебли), поэтому было выбрано повышение контраста вейвлет-уровней. Я повысил контраст для первых двух уровней и понизил контраст для последнего уровня, чтобы сгладить разницу между участками поля освещенными солнцем и находящимися в тени. Результат показан на рисунке 6.32 в. Далее, возможно, следовало бы ограничить повышение контраста только областью изображения поля, обрезав остальные участки кадра маской.

Существуют и другие, менее «классические», способы повышения кажущейся резкости. Например, с помощью инструмента «осветление/затемнение» можно улучшить детализацию, затемнив темные места мелких деталей и осветлив светлые. Иногда можно добавить контрастный шум к малоконтрастной (на снимке) однородной области. Если этот шум можно принять за резкое изображение фактуры этой области, то кажущаяся резкость снимка возрастет.

Что называется панорамой? В самом слове ощущается что-то широкое и неудивительно, что многие называют панорамой только такие изображения, составленные из нескольких кадров, ширина которых как минимум вдвое превышает высоту.

Рис. 7.1. Тучи над полем гороха (возле города Советск, Кировская область).

Но как тогда называть другие многокадровые изображения? Иногда употребляется слово «мозаика». Но с этим словом в первую очередь связаны изображения, составленные из мелких фрагментов неправильной формы, с четко видимыми краями. Тоже, как будто, не то. Фото-мозаика? Воспринимается, как разновидность обычной мозаики.

В общем, я не смог найти нужное слово, и в этой книжке буду использовать термин «панорама» в более широком смысле (присоединяясь к тем, кто делает так же): панорама – это изображение, составленное из нескольких кадров так, что угол обзора изображения больше угла зрения объектива (и, следовательно, отдельного кадра). В этом смысле стопки фокусов, стопки экспозиций и иже с ними не являются панорамами, хотя и составлены из нескольких кадров (возможно, кадров с отношением сторон 2:1).

Существует специальная аппаратура для получения панорамных изображений: фотоаппараты с движущимися объективами или сенсорами, катадиоптрическая оптика, содержащая сферические зеркала и т. п., но я буду рассматривать только панорамы, снятые обычными объективом и камерой.

Помню, напечатал свою первую цветную фотографию в 1962 году (более полувека тому назад!). На сплошь синей фотографии был один маленький красный кусочек (флаг над зданием Дома культуры), который приводил меня в восторг. Волновало все, связанное с цветной фотографией: волшебное слово «этилоксиэтилпарафенилендиаминсульфат» (ЦПВ-2) вместо привычного «гидрохинон» из рецептуры черно-белого проявителя, необычные цвет и запахи реактивов (и их количество!), тусклое коричнево-зеленое освещение темной комнаты (ванной). Куда все это ушло?

Это сейчас сидишь в комфорте за компьютером, и с фотографией можешь сделать все, что только заблагорассудится. А тогда мне и в голову не приходило, что когда-нибудь станет возможно сделать несколько снимков с разными параметрами, ракурсами, а потом легко составить из этих заготовок одно изображение пейзажа.

Но зачем же с этим возиться? Чтобы ответить на этот вопрос, сравним изображения одного и того же пейзажа, полученные мобильником, зеркальной камерой с широкоугольным объективом и панораму, составленную из 20 снимков, снятых 100-миллиметровым объективом (Рис. 7.2, Белохолуницкий пруд, Кировская область). Все изображения имеют примерно одинаковый угол обзора, а панорамное изображение уменьшено в 2.6 раза. Для того чтобы программа enblend (которую вызывает hugin) смогла сшить 20 фрагментов, их размеры пришлось уменьшить с 20 Мп до 5 Мп. На первый взгляд снимки практически одинаковы (на панораме трава зеленее, что позволяет легко различать снимки).

Рис. 7.2. Пейзаж, снятый разными способами.

Но разве детализация и резкость панорамного изображения не должна была бы стать выше за счет уменьшения исходного многопиксельного изображения до размеров одного кадра? Благодаря тому, что изображение пейзажа, составленное из нескольких снимков-фрагментов, может состоять из 150–200 мегапикселей и, при уменьшении, например, до 15–20 мегапикселей детализация теоретически может возрасти в 10 раз! Легко сочинить изображение, для которого все так и будет. Для реальных пейзажей, конечно, все не так просто. При сильном уменьшении часть деталей пропадает, поэтому о десятикратном увеличении говорить не приходится.

Попробуем уменьшать полученную вручную панораму до размеров кадра, снятого широкоугольником, с использованием разных алгоритмов интерполяции, и сравним резкость и детализацию. На рисунке 7.3 показаны кусочки полученных изображений в 800 %-м масштабе.

Рис. 7.3. Фрагмент изображения, снятого широкоугольником (а) и соответствующий фрагмент панорамы, уменьшенный с использованием разных алгоритмов интерполяции (б, в, г).

Видим, что четкость изображения, полученного уменьшением панорамы, заметно выше по сравнению с кадром, снятым широкоугольным объективом. Независимо от алгоритма интерполяции, используемого при уменьшении изображения. То есть, вместо того, чтобы снять один кадр широкоугольником, имеет смысл снять панораму и уменьшить ее размер. Полученный эффект может быть тем больше, чем больше угол обзора панорамы и чем меньше угол зрения объектива.

А что произойдет, если, наоборот, растянуть кадр, снятый широкоугольным объективом, до размера панорамы? Результаты показаны на рисунке 7.4.

Рис. 7.4. Фрагмент изображения с рисунка 7.2в (а) и соответствующий фрагмент изображения с рисунка 7.2б, увеличенного с использованием разных алгоритмов интерполяции (б, в, г).

Видим, что снова четкость панорамного изображения выше, чем четкость кадра, снятого широкоугольным объективом и растянутого до размеров панорамы. Что, впрочем, тривиально.

Таким образом, чтобы получить изображение большого размера с хорошей детализацией, нужно снимать панораму. Но даже и для изображения небольшого размера, уменьшенная панорама может дать лучшую кажущуюся резкость по сравнению с отдельным кадром с тем же углом обзора.

Составление панорамы из отдельных кадров по своей сути напоминает происходящий в сознании человека процесс создания изображения, в результате которого с помощью потока информации, поступающей от глаз, реконструируется вся картина. С той разницей, что для фотопанорамы стараются (а надо ли, кстати, см. панография, ниже) соблюсти закономерности, присущие одному кадру (характерное изменение резкости предметов по мере удаления от камеры, согласование фрагментов по яркости, контрасту и оттенкам цветов и другие).

Я обычно сначала пробую собрать панораму с помощью программ. Но мне больше нравится управлять этим процессом самому (конечно, если время позволяет). Когда начинаешь исправлять мелкие дефекты автоматической сшивки (enblend проводит границы так, чтобы они максимально отстояли от границ области пересечения фрагментов, без учета содержания изображения, последнее используется только при определении степени размытия границы), почти всегда обнаруживаешь, что в этом месте я бы совсем по-другому сделал. И заканчиваешь тем, что начинаешь сборку с нуля, вручную.

Это и не удивительно. Как программист и пользователь я хорошо знаю, что любая сложная программа – дура, кроме, разве что, программ чисто вычислительного характера, типа решающих дифференциальные уравнения.

Программы склейки панорам, даже учитывающие содержание изображения, могут ориентироваться только на какие-то универсальные свойства содержания такие, как границы, локальный контраст. Во многих случаях этого оказывается достаточно, чтобы получилась прилично выглядящая панорама. Но иногда формальный критерий не срабатывает и получается ерунда.

Хуже всего программы автоматической сборки панорам ведут себя, когда им попадается трудное место (например, ветка качнулась из-за ветра, и просто так склеить нельзя). Типичное поведение программы в таких случаях: с одной стороны шва ветка плавно исчезает, а с другой стороны шва – плавно возникает из ничего в неожиданном месте.

Правильный ответ на вопрос, вынесенный в заголовок параграфа, как всегда, зависит от многих обстоятельств: какого качества нужно добиться, как срочно нужен конечный результат, хочется ли заниматься ручной склейкой, удовлетворительно ли сшивается конкретная панорама автоматически и других.

Возможен и промежуточный вариант. Получить выравненные фрагменты и маски швов с помощью, например, программ hugin и enblend, загрузить их в графический редактор, и доделать самому. Но я редко пробую так делать. Почему-то.

В целом могу сказать, что без ручной склейки фрагментов в некоторых случаях приличного качества панорамного изображения не получить. Выстраивая и выравнивая кадры панорамы вручную, почти всегда удается добиться хорошего результата. Если, конечно, не было сделано грубых ошибок во время съемки фрагментов (о чем было сказано выше). Кстати, многие панорамы, которые автоматически склеиваются удовлетворительно, вручную делаются просто шутя!

После того, как все кадры панорамы переписаны на компьютер, начинается самое интересное. Запускаем любимый графический редактор и загружаем все фрагменты как отдельные слои (если их много и компьютер не тянет, то только часть, например, фрагменты одного ряда).

Обработка кадров панорамы на компьютере распадается на три этапа:

• сшивка (stiching) и согласование фрагментов по всем параметрам;

• обработка швов (blending);

• коррекция финального изображения.

Размер холста сначала делаем равным двум фрагментам с небольшим запасом по вертикали и по горизонтали. Выбираем фрагмент, содержащий смысловой центр изображения, передвигаем его слой на вершину стопки слоев и делаем видимым. Это будет первый слой. Слои остальных фрагментов скрываем (Рис. 7.30а).

Рис. 7.30. Начало построения панорамы.

Выбираем один из двух фрагментов этого же ряда, смежных с отобранным, например, правый. Передвигаем его слой непосредственно под первый слой и делаем видимым. Далее сдвигаем изображение во втором слое так, чтобы какая-нибудь деталь обоих фрагментов совпала. Этой деталью может служить небольшой элемент изображения (пятнышко, пересечение линий или вершина угла) вблизи края первого фрагмента, который легко отыскивается и на втором фрагменте. На остальные нестыковки пока внимания не обращаем. Скрепляем оба слоя для того, чтобы при перемещениях они двигались как единое целое (Рис. 7.30б).

Рис. 7.31. Пристыковка фрагментов панорамы.

Таким же образом продолжаем пристыковывать фрагменты этого слоя панорамы, двигаясь в одну сторону. Уже скрепленные слои выдвигаем за границу холста, чтобы они не мешали. Когда мы дойдем до края изображения, вершина стопки слоев будет содержать лесенку кадров в виде видимых и скрепленных между собой слоев (Рис. 7.31а).

Далее делаем такую же лесенку в другую сторону (Рис. 7.31б). Затем, в случае многорядной панорамы, переходим к соседнему ряду кадров панорамы, начиная с фрагмента, смежного с первым в стопке слоев (на рисунке 7.31 панорама состоит только из одного ряда кадров). На этот раз двигаем кадр нового ряда и совмещаем его сначала с ближайшими фрагментами уже построенного ряда панорамы, а потом – с соседним кадром по горизонтали. Если одновременно совместить со всеми соседними кадрами не удается, выбираем наилучший компромиссный вариант. Остальные нестыковки по-прежнему игнорируем.

Когда все фрагменты пристыкованы, наступает «момент истины». Делаем размер холста равным размеру слоев, а масштаб такой, чтобы все изображение поместилось на экран (Рис. 7.31в). Смотрим, получилось ли то, что хотелось сделать (Рис. 7.32, в этот момент иностранцы кричат wow!).

Бывает, но редко, что после первичного выравнивания фрагментов обнаруживается, что продолжать не стоит. Например, если в середине панорамы есть дыра, то есть, какие-то смежные кадры не пересекаются. Небольшие дырки иногда можно исправить инструментом «лечить прозрачное» (Heal Transparency, Resynthesizer Plugin).

Рис. 7.32. Состыкованные кадры панорамы.

После того, как эмоции улягутся, приступаем к работе. Нужно получить то, что будет хотя бы не хуже изображения на рисунке 7.33.

Рис. 7.33. Законченная панорама (небо еще нужно доработать).

Сначала будем выравнивать фрагменты в текущем проекте, а затем полученное видимое изображение перенесем в новый проект в виде единственного слоя. В новом проекте выполним всю остальную пост-обработку изображения.

Рис. 7.34. Та же панорама, собранная программой hugin.

Вернемся к текущему проекту. Теперь нужно определить, в каком порядке расположить фрагменты в стопке слоев. В предыдущем параграфе мы передвигали фрагменты в плоскости экрана, теперь же будем перемещать их в перпендикулярном направлении (Программисты называют это z-order).

Поскольку фрагменты пересекаются, то одна и та же часть изображения может присутствовать на нескольких фрагментах. Причем резкость, яркость и другие параметры этой части изображения на разных фрагментах могут различаться. Смысл процедуры перемещения слоев в стопке состоит в том, чтобы задать, из какого фрагмента взять нужный вариант области пересечения. Для этого слой с нужным фрагментом помещаем выше всех других слоев, содержащих эту же часть изображения.

Причины для перемещения слоя вверх могут быть следующими:

1) если при этом уменьшается количество швов (передвинутый вверх фрагмент перекрывает сразу несколько границ кадров);

2) если качество (резкость и т. д.) перемещаемого вверх фрагмента лучше;

3) если при этом упрощается выравнивание фрагментов, например, если какой-либо объект перестает попадать на область шва.

После определения нужного порядка слоев может оказаться, что некоторые фрагменты полностью скрыты другими. Их можно удалить, но только при условии, что все области пересечения оставшихся кадров достаточно широки. Если это не так, то скрытые фрагменты лучше пока оставить, может быть, они пригодятся при сшивке.

Выбранный порядок слоев можно будет изменить в любой момент при дальнейшей работе над изображением.

Обработать шов между двумя кадрами панорамы – это значит провести и, возможно, размыть границу между ними так, чтобы стык был незаметен, или хотя бы малозаметен. Для этого нужно не только провести линию в правильном месте, но и для каждого участка границы выбрать правильную величину растушевки. Если растушевка мала, то граница выглядит нереально четкой. Если растушевка велика, в области границы просвечивают детали с обоих кадров, что в случае их неполного совпадения приводит к появлению двоения рисунка (я здесь не рассматриваю сшивку по разным разрешениям, см. параграф 5.9).

Многое зависит также от используемого инструмента. Обычно используют кисть правильной жесткости (то есть, растушевки) и нужного размера. Иногда для создания более плавного перехода можно дополнительно обработать маску кистью с непрозрачностью меньшей 100 %.

Как уже упоминалось в главе 6, инструмент «выделение по цвету» и подобные ему при наличии четких границ в изображении дают естественно выглядящую границу с мелкими деталями (Рис. 7.61). Но некоторые участки границы при этом могут не получиться совсем. Поэтому приходится строить границу по частям, при разных параметрах этого инструмента.

Рис. 7.61. Обработка швов с помощью инструмента «выделение по цвету».

Выделением с помощью лассо можно получить границу с идеальными прямыми участками, но возможно и образование мелких зубчиков, несоответствующих рисунку изображения. Я этим инструментом при обработке швов пользуюсь редко, мелкими шажками и при большом увеличении. Хотя, имея сильную руку и проводя прецизионно точную кривую непрерывно, наверно, можно получить натурально выглядящую границу.

При рисовании границы стараемся соблюдать следующие правила:

• линию границы проводим по естественным контурам объектов или пятен на изображении,

• растушевку выбираем равной размытию этой естественной границы,

• каждый видимый объект (или пятно) должен, по возможности, располагаться целиком либо по одну сторону от границы, либо по другую.

Так для протяженных, размытых объектов (облака, водная гладь без четких отражений) и для областей с множеством мелких объектов (лес вдали, листва, трава) выбираем большую мягкую кисть и замазываем всю границу между кадрами. Для прямых линий (в пейзажах встречаются и такие!) используем лассо большими шагами с правильной степенью растушевки.

После того, как граница шва построена полностью, полезно просмотреть получившуюся маску (Рис. 7.62а) и исправить дефекты, например, светлые или темные островки, возникшие непреднамеренно. Кроме того, нужно проследить, чтобы края всех границ кадра, смежного с другими кадрами, были 100 %-но черными (полностью прозрачная маска). Иначе в том месте, где это не так, на конечном изображении может появиться прямолинейная граница (Рис. 7.62б, в).

Рис. 7.62. Дефекты маски шва.

Как обрабатывают швы программы для создания панорам?

Один из наилучших способов наложения швов в современной цифровой фотографии – это использовать метод сплайнов с разными разрешениями (см. параграф 5.9), который может порой вылечить даже плохо снятые панорамы и мозаики.

Повторюсь. Он работает посредством разбиения каждого кадра на несколько компонентов, и каждый компонент представляет собой различный масштаб содержания изображения. Мелкодетальные элементы такие, как листва или трава, имеющие высокое разрешение, попадут в один компонент. Тогда как крупномасштабные элементы, имеющие низкое разрешение, такие, как градиент чистого неба попадут в другой компонент.

Разные сплайны для разных разрешений позволяют эффективно сшивать текстуры каждого масштаба независимо. Затем сшитые компоненты объединяются, и получается шов высокого качества. Это означает, что крупномасштабные (с низким разрешением) компоненты будут наложены плавным переходом на длинном участке, тогда как мелкодетальные компоненты (с высоким разрешением) будут сопряжены короткими переходами.

Рассмотрим некоторые сложные моменты, которые встречаются при компьютерной обработке фотографий пейзажей. Думаю, что каждому фотографу-пейзажисту приходилось выбраковывать хороший снимок с интересными передним и средним планами по причине скучного неба, кому-то редко, а кому-то, в том числе и мне, часто. Даже если при съемке пейзажа в кадре вроде бы и не было неба, на компьютере обнаруживается, что кусочек все-таки затесался в углу кадра между ветвей и он, естественно, пересвечен! Или, оказывается, что края мелких веточек на фоне голубого неба в углу кадра окрашены в ярко-фиолетовый цвет, а стандартные методы устранения хроматических аберраций могут лишь превратить ядовито-синий цвет в ядовито-розовый и не более того. Или, при съемке панорамы с моторной лодкой на реке не удается совместить расходящиеся углом буруны. Или при съемке городского пейзажа непонятно, как соединить линии на фрагментах панорамы, чтобы получить нужную перспективу в конечном изображении?

Некоторые варианты ответов на эти вопросы даны в этой главе. Все решается с помощью базовых приемов, описанных в предыдущих двух главах, плюс используются некоторые дополнительные возможности графических редакторов и других компьютерных программ.

Обычно фрагменты с рябью на воде и небольшими волнами сшиваются не намного сложнее кадров с участками неба. Роль светлых и темных облаков играют тени от близлежащих предметов и отражения облаков. Правда в отсутствие полного штиля на эту картину накладывается узор из мелких волн, но он достаточно хаотичен, чтобы сильно затруднить соединение фрагментов в единое целое. Как обычно, проводим размытую границу по участкам с минимальной контрастностью, не пересекая границ пятен яркостей (Рис. 8.21).

Рис. 8.21. Ликвидация шва (рябь на воде).

Если таким способом не получается соединить два фрагмента, на которых, например, четкая тень от дерева пересекает границу кадров, то проще всего использовать заплату, на которой эта тень изображена целиком. Как я упоминал выше, такие кадры нужно предусмотрительно делать при съемке фрагментов панорамы.

На (Рис. 8.22) изображена панорама реки Вятка, снятая с моста у деревни Буйский перевоз (мне пришлось замазать мужика, которому не пришло в голову, что его могут фотографировать).

Рис. 8.22. Река Вятка у деревни Буйский перевоз.

Основная проблема, которую понадобилось решать при сшивке фрагментов этой панорамы – это движение моторных лодок. То, что лодки успевали переместиться за время перехода от кадра к кадру, не было затруднением. А вот то, что успевали разойтись буруны (усы) за ними, не позволяло соединять фрагменты без изломов бурунов (Рис. 8.23а). Тут пришлось повозиться.

Рис. 8.23. Ликвидация шва (буруны за моторками).

Среднюю часть буруна вырезаем с большим запасом (Рис. 8.24а), деформируем нужным образом. Полученную заплату накладываем на исходное изображение (Рис. 8.24б) и скрываем шов маской (Рис. 8.24в). Разрыв буруна исчез, но направление в точке сшивки изменяется скачком, что заметно. Более аккуратно было бы деформировать заплату нелинейно или использовать несколько заплат меньшего размера и добиться более плавного перехода. Проделываем это для четырех разных бурунов. Результат – на рисунке 8.23б.

Рис. 8.24. Ликвидация шва с помощью заплат.

После того как я снял кадры панорамы (см. Рис. 7.25 в предыдущей главе) с рябью на воде, вдруг наступил полный штиль и появилось зеркальное отражение сосен. Я повторно снял нижний ряд кадров. Надо было бы снять еще и средний ряд, но опять появилась рябь.

Как состыковать фрагменты с рябью и гладкой поверхностью воды? Сначала действуем обычной маской с большой растушевкой, затем подгоняем яркость и контраст слоев с помощью инструмента «уровни» (Рис. 8.25).

Рис. 8.25. Скрыта резкая граница между рябью и гладкой поверхностью воды.

Резкую границу между рябью и гладкой поверхностью воды иногда удается замаскировать с помощью впечатывания участков ряби (или гладкой воды) методом восстановления изображения по градиентному полю (редактирование по Пуассону). На рисунке 8.26 показан пример такого впечатывания.

Рис. 8.26. Добавление участка ряби к изображению.

Замечу еще, что работая с зеркальными отражениями, полезно снимать по два кадра с разной наводкой на резкость: на плавающие предметы (растительность) и на отражающиеся предметы.

Рассмотрим ситуацию, когда сквозь предмет переднего плана просвечивают предметы дальнего плана. В нашем распоряжении есть кадр с резким изображением переднего плана и кадр, на котором достаточно резко выглядит дальний план (см. Рис. 8.27). Как соединить эти два кадра, чтобы получились резкими и передний и дальний планы?

Рис. 8.27. Кадры для согласования резкости переднего и дальнего планов.

Попробуем разделить резкий передний план и размытый дальний маской. Сделаем маску, вырезающую передний план, с помощью инструмента «выделение по цвету». Подправим полученную маску вручную там, где получились грубовато. Объединим кадры с рисунка 8.27 с помощью этой маски (см. Рис. 8.28а).

Рис. 8.28. Согласование резкости переднего и дальнего планов.

Видим, что получилась смесь резких стеблей и соцветий вейника с первого кадра и нерезких – со второго. Виноват, конечно, ветер и то, что размытый объект шире неразмытого.

Избавимся от нерезкой травы на втором снимке с помощью инструмента «лечить выделение» (heal selection). Для этого выделим нерезкие пятна вручную. Можно сделать это достаточно грубо. Полученное выделение увеличим на 5 пикселей, чтобы прихватить ореолы, и применим инструмент. Для данного кадра результат все еще содержал какие-то пятна. Повторное применение этого инструмента к получившимся пятнам улучшило изображение (см. Рис. 8.28б).

Если нужно добиться более высокого качества, то можно попытаться «поиграть» с параметрами инструмента, масками и количеством итераций.

Для пейзажа это не очень характерно (за исключением городского), но иногда фрагменты панорамы содержат прямые линии, и при стыковке кадров необходимо учитывать законы перспективы. Вертикали и горизонтали элементов изображения, конечно, должны быть параллельны краям фотографии, если это не противоречит замыслу автора. Горизонтальными элементами чаще всего являются линии горизонта на равнине и линии границы водной поверхности на ровном участке берега. Для берега реки бывает важно сохранить исходный наклон границы, то есть, небольшое понижение в ту сторону, в которую река течет.

Вертикальными элементами служат стволы пряморастущих деревьев и столбы, если такие попали в кадр. Все это легко исправляется вращением кадра в нужную сторону. Иногда проще вырезать заплату (например, с вереницей телеграфных столбов, уходящих вдаль на краю снимка) и повернуть ее.

На (Рис. 8.29а) показана часть фрагментов с изображениями плиток, которыми выложено пространство вокруг центральной части монумента «Вечный огонь» в городе Кирово-Чепецк.

Рис. 8.29. Плиточный пол монумента «Вечный огонь» в городе Кирово-Чепецк (фрагмент).

Чтобы выравнять фрагменты панорамы в этом случае, делаем так. Выбираем кадр в центре панорамы и строим точку схода для одной группы параллельных линий – швов между плитками (назовем группу линий «запад-восток», Рис. 8.30). В качестве наклонных направляющих используем контуры в виде отрезков прямых линий.

Рис. 8.30. Построение точки схода для центрального кадра.

То, что точка схода расплылась в пятнышко, не страшно. Если выполнить рисунок как по линейке, может выглядеть суховато. Чтобы получить более точные результаты можно построить еще две точки схода: для линий «север-юг» и «верх-низ».

Зачастую лёгкая сходимость линий «верх-низ» желательна, поскольку совершенно параллельные вертикальные линии могут порой выглядеть неестественно. В данном случае ограничимся тем, что проведем одну линию «север-юг».

Теперь передвигаем соседний кадр справа так, чтобы совместить один стык между плитками (Рис. 8.31, совмещен стык, находящийся на пересечении красной направляющей и границы между кадрами). Небольшая разница в яркостях кадров помогает видеть границу между ними.

Рис. 8.31. Пристыковка соседнего кадра.

Инструментом «перспектива» или «преобразование по точкам» деформируем правый кадр так, чтобы границы между плитками совпали с направляющими (Рис. 8.32).

Рис. 8.32. Два состыкованных кадра.

Достраиваем линии «запад-восток» для плиток правого кадра и продолжаем в том же духе.

Бывает, что границы, как будто, хорошо совместились с направляющими, но на конечном изображении какой-то участок пола выглядит не параллельным остальным. Приходится подправлять инструментом «перспектива» еще раз. Окончательный результат показан на рисунке 8.29б. Почему-то мне кажется, что если бы не полениться и построить больше линий «север-юг», то получилось бы лучше. Особенно в правом верхнем углу.

Рис. 8.33. А вот что построила программа hugin (я ей подсунул больше фрагментов).

Бывает, что на границах веточек и листьев на фоне неба на периферийных областях снимка видна цветная кайма – хроматические аберрации (Рис. 8.34а). Это – поперечная (transverse) ХА или хроматическая разница увеличения, которая объясняется тем, что величина увеличения изображения на сенсоре камеры зависит от длины волны. Объективы более высокого качества (и цены!) менее «склонны» создавать ХА.

Рис. 8.34. Ослабление хроматических аберраций с помощью программы RawTherapee.

Бороться с поперечными ХА можно следующими методами:

1) применить какую-нибудь компьютерную программу (практически все программы для обработки изображений умеют это делать в автоматическом или ручном режиме, Рис. 8.34б);

2) попробовать смещать изображения в каналах цветности друг относительно друга и изменять степень их увеличения (Рис. 8.35а);

3) немного размыть цвет (либо в каналах CIELAB a* и CIELAB b*, либо размыв копию слоя и наложить ее в режиме «цвет») (Рис. 8.35б);

4) понизить насыщенность цветной каймы, превратив ее в серую (Рис. 8.35в).

Рис. 8.35. Ослабление хроматических аберраций.

Устранение (точнее, сильное ослабление) ХА в редакторе raw-файлов выполняется для всего изображения. Если необходима только локальная коррекция, то экспортируются два варианта изображения: с коррекцией и без нее. Затем в растровом редакторе эти варианты объединяются нужным образом. В других случаях аберрации устраняются только для заплаты, содержащей ХА, которая затем вставляется в нужное место маской.

На рисунке 8.35а показано изображение, полученное смещением красного канала на один пиксель влево и на такое же расстояние вниз. Затем синий канал был сдвинут на один пиксель вправо. Если бы сдвигать на доли пикселя, результат был бы, наверное, лучше. Естественно, в противоположном углу кадра цветные каемки усилились. Поэтому этот метод нужно применять только локально, для заплаты, а для противоположного угла понадобятся другие смещения каналов. Я надеялся, что, если вместо сдвига использовать увеличение или уменьшение масштаба rgb-каналов, то удастся уменьшить ХА для всего кадра сразу. Но у меня не получилось. Может быть, у кого-то из читателей и получится.

Размывание цвета (Рис. 8.35б) для этого кадра дало плохой результат. Цветные каемки просто размазались. Вариант с обесцвечиванием каймы оказался чуть-чуть лучше.

Обесцвечивание каемок делается, например, так. Из изображения извлекается слой «насыщенность» (например, в цветовом пространстве LCH), и превращается в маску так, чтобы выделить самые насыщенные области кадра (в это число попадают и каемки). Полученная маска исправляется вручную так, чтобы выделялись только каемки, и используется для понижения насыщенности каемок вплоть до обесцвечивания. При необходимости маску можно увеличить на один пиксель. Недостатком этого метода является то, что обесцвеченные серые каемки могут оказаться заметными и произведут худшее впечатление, чем остаточные поперечные ХА.

Что касается продольной (longitudinal) ХА, которая объясняется тем, что фокальные плоскости для лучей разных длин волн не совпадают, то я не придумал, как ее проиллюстрировать. Если сравнивать периферийную часть кадра при большом увеличении в разных rgb-каналах, то резкость в синем канале заметно меньше. Теоретически должна быть размытость синего цвета, но я ее не вижу. Судя по сведениям, приведенным в первой главе, зрительная система человека явно дискриминирует синий канал.

Если в конструкцию объектива заложено уменьшение продольной ХА, то разные цвета фокусируются более или менее в одной точке оптической оси. Но на больших расстояниях от оси такого совпадения может не быть, и возникают продольные ХА.

С поперечными ХА, а также с оптическими искажениями объектива и виньетированием можно бороться с помощью профиля LCP (Lens Correction Profile). Достаточно скачать такой профиль для вашего объектива и применить соответствующую программу (RawTherapee подойдет). Программа hugin пытается делать то же самое, не используя профиль LCP.

Существуют и другие причины для появления цветных каемок:

• несовершенство микролинз фотопикселей, в том числе и их ХА;

• отражения между сенсором и его защитным стеклом;

• ошибки интерполяции антимуарных фильтров камеры;

• неодновременное насыщение соседних фотопикселей, соответствующих разным rgb-каналам и другие.

Понять, из-за чего возникли цветные каемки, можно следующим способом. Рассматривая проблемную область под 200 % увеличением, быстро переключать каналы R, G, B. Если изображение перемещается, то это – поперечные ХА. Если только меняется резкость, то это – продольные ХА. Если изменяется только что-то другое – это не ХА.