Что такое биннинг пикселей? Функция Galaxy S22, которая делает ваши фотографии великолепными

Индустрия смартфонов продолжает свою тотальную войну за превосходство в камерах, и бренды пытаются втиснуть как можно больше пикселей в как можно больше камер. От этих ничтожных 2-мегапиксельных макро-камер и камер глубины до 108-мегапиксельных снимков на таких телефонах, как Galaxy S22 Ultra, цифры, кажется, только растут.

Вскоре 200-мегапиксельный сенсор камеры Samsung выведет вещи на новый уровень, но в основе всего этого мегапиксельного волшебства лежит технология объединения пикселей, которая является ключом к успеху камеры. Однако не все биннинги пикселей одинаковы. Samsung использует «тетра» биннинг пикселей 4-в-1 на Galaxy S22 и «нона» биннинг пикселей 9-в-1 на Galaxy S22 Ultra . Все это имеет значение? Мы обнаружили.

Зачем нужен биннинг пикселей

Что делает биннинг пикселей? Короче говоря, он позволяет соседним пикселям работать как один большой «суперпиксель», собирая больше данных для получения более ярких фотографий с более точными цветами и меньшим количеством шума. Прежде чем мы углубимся в технические детали, важно понять, почему это происходит в первую очередь.

Датчик камеры на вашем телефоне — это компонент, который собирает и обрабатывает всю оптическую информацию, поступающую на него от объектива спереди. Сенсор, в свою очередь, по сути представляет собой пластину из пикселей. На самом деле их миллионы. Точно так же, как клетки растения, пиксели поглощают свет, который затем преобразуется в сигнал для создания изображения, которое мы видим на экране нашего телефона .

Но вот странная часть. Чем больше количество пикселей, тем выше разрешение изображения, что обеспечивает большую детализацию и резкость. Однако по мере того, как мы продолжаем добавлять больше пикселей, размер датчиков также должен увеличиваться, чтобы вместить их. Переход с 10MP на 200MP должен привести к увеличению сенсора камеры в 20 раз. Но из-за ограниченного пространства внутри корпуса смартфона для установки датчиков изображения такое увеличение размера невозможно.

Чтобы решить эту проблему, размер пикселей уменьшен, чтобы разместить больше этих светочувствительных элементов на сенсорной пластине, не увеличивая ее размер слишком сильно. Однако чем меньше становится пиксель, тем хуже он поглощает свет, что приводит к тусклым деталям и цветам. Именно здесь на помощь приходит технология биннинга пикселей, которая алгоритмически создает более крупные пиксели, способные поглощать больше света. Когда это происходит, вы получаете более качественные фотографии .

Преимущества биннинга пикселей очевидны

Когда этот алгоритм начинает действовать, создается более крупный суперпиксель, который поглощает больше световых данных. Это особенно важно в условиях низкой освещенности, когда сенсор камеры должен собирать как можно больше света. В случае четырехпиксельного биннинга на Galaxy S22, когда четыре соседних пикселя одного цвета сливаются в один, их светочувствительность увеличивается в четыре раза.

В результате фотографии, сгруппированные по пикселям, получаются ярче, с большей резкостью и большей контрастностью. Изображение выше было снято с родным разрешением 50MP основной камеры Galaxy S22 . Обратите внимание на уровень зернистости и размытые края. Ниже представлен 12,5-мегапиксельный снимок того же объекта, снятый S22, с четкими линиями и гораздо лучшей цветопередачей, с более ярким профилем по краям.

Но преимущества объединения пикселей не ограничиваются фотографией при слабом освещении. Фактически, эта технология также повышает выходной сигнал HDR (High Dynamic Range). При съемке высококонтрастных объектов или окружения технология биннинга пикселей снова дает ощутимые преимущества.

Каждая группа пикселей (в зависимости от ее цвета) имеет разный уровень светочувствительности и время экспозиции, а это значит, что они собирают световую информацию в сегментированном виде и с более высокой точностью. В результате, когда обработка HDR применяется к оптическим данным, собранным каждым массивом пикселей, фотографии выглядят четкими, с более высокой точностью цветопередачи и улучшенным динамическим диапазоном.

Различные подходы Samsung к объединению пикселей

Масштаб биннинга пикселей зависит от количества самих пикселей. Например, 48-мегапиксельная камера объединяет четыре пикселя в один искусственно увеличенный суперпиксель для получения 12-мегапиксельных фотографий. Вот почему бренды продают его как объединение пикселей 4-в-1. Точно так же датчики камеры с 50 миллионами или 64 миллионами пикселей создают изображения с разрешением 12,5 и 16 мегапикселей соответственно. В маркетинговом жаргоне Samsung вы можете встретить название «Tetracell», обозначающее этот процесс.

На техническом уровне пиксели фактически не перемещаются и не комбинируются физически. Вместо этого это делается на программном уровне с использованием алгоритмов remosaic. Индивидуальное расположение пикселей по-прежнему остается обычным делом RGB. Задача Tetracell состоит в том, чтобы сгруппировать пиксели с одним и тем же цветовым фильтром рядом друг с другом в массив пикселей 2×2 и объединить их для создания большего массива искусственных пикселей RGB для сбора большего количества света. Взгляните на изображение выше, чтобы увидеть, как это получается.

В 50-мегапиксельной камере Galaxy S22 используются 1-микронные пиксели, но когда в дело вступает технология объединения пикселей, она объединяет массив 2×2 смежных 1-микронных пикселей. Это дает нам более крупный суперпиксель размером 2 микрона. Это тетра метод. Но когда у вас есть 108-мегапиксельная камера на телефоне, таком как Galaxy S22 Ultra, размер пикселей становится еще меньше.

Вместо объединения пикселей 4-в-1 этот 108-мегапиксельный сенсор использует технологию, которую Samsung называет «Nonacell». Он объединяет девять соседних пикселей в один. Это слияние массива пикселей 3×3 создает более крупный суперпиксель размером 2,4 микрона. При этом разрешение снижается с родных 108 Мп до 12 Мп, но фотографии получаются ярче с лучшей точностью цветопередачи. Это метод объединения пикселей нона.

Как упоминалось выше, меньшие пиксели с трудом собирают данные о свете, поэтому они теряют детали на фотографиях. Верхнее левое изображение представляет собой фрагмент 108-мегапиксельного снимка с полным разрешением, сделанного сенсором основной камеры Galaxy S22 Ultra с меньшими 0,8-микронными пикселями. Справа фрагмент кадра из 50-мегапиксельного снимка, сделанного основной камерой Galaxy S22 , которая содержит более крупные пиксели размером 1 микрон. Благодаря большим пикселям датчик камеры Galaxy S22 собирает больше световых данных, и в результате вы можете увидеть больше деталей на кожаном браслете с улучшенной резкостью и гораздо лучшей экспозицией.

Однако, когда в действие вступает объединение пикселей, датчик камеры Galaxy S22 Ultra создает более крупный 2,4-микронный суперпиксель, который собирает больше данных о свете, чем основная камера Galaxy S22, которая искусственно создает меньший 2-микронный суперпиксель. Неудивительно, что результаты обратные.

Как вы можете видеть на изображении выше, более крупный суперпиксель Galaxy S22 Ultra обеспечивает улучшенное разделение объектов с более высоким контролем над резкостью, большей детализацией поверхности и лучшей точностью цветопередачи. Но объединение пикселей — это не только выделение деталей при слабом освещении. Он также играет огромную роль в воспроизведении цветов, управлении динамическим диапазоном и другими важными параметрами.

На изображении выше слева Galaxy S22 намного лучше справляется с экспозицией объекта, оценкой глубины и цветопередачей в 50-мегапиксельном снимке с полным разрешением по сравнению со 108-мегапиксельным снимком той же сцены из Galaxy S22 Ultra. Меньшие пиксели на основной камере Galaxy S22 Ultra приводят к размытым цветам на зданиях и общему менее четкому профилю.

Как и в случае с низким освещением, объединение пикселей снова выделяет разницу и переворачивает результаты. Благодаря более крупным суперпикселям, созданным датчиком камеры Galaxy S22 Ultra, изображение справа выше показывает канавки кирпича на снимке более точно, а цвета получились ближе к реальности, чем на снимке, сделанном ванильным Galaxy S22. Однако здесь стоит отметить, что объединение пикселей не является единственным фактором, влияющим на качество изображения. Многое зависит от производителя сенсора , лежащих в его основе алгоритмов и апертуры, а также других факторов.

Будущее объединения пикселей на смартфонах

Поскольку пиксельным войнам не видно конца, следующая эволюция — датчики 200-мегапиксельной камеры. На самом деле, по слухам, Motorola выпустит первый телефон с таким мощным аппаратным обеспечением обработки изображений. В этом случае алгоритмы remosaic будут объединять не менее 16 пикселей в один большой блок. Возьмем, к примеру, собственный 200-мегапиксельный датчик Samsung ISOCELL HP-1, в котором представлена ​​новая гибридная форма объединения пикселей.

В зависимости от ситуации освещения он выполняет гибридный процесс объединения пикселей 4×4, который происходит в два этапа. Во-первых, датчик выполняет биннинг 4-в-1, который включает в себя массив 2×2 пикселей размером 0,64 микрона. Это создает более крупный суперпиксель размером 1,28 микрона и создает фотографии с разрешением 50 мегапикселей. Затем датчик выполняет еще один раунд биннинга 4-в-1, который включает в себя массив 2 × 2 пикселей размером 1,28 микрона, создавая еще более крупный суперпиксель размером 2,56 микрона. В конце этого процесса окончательное разрешение изображения падает до приемлемых 12,5 мегапикселей.

Вот почему объединение пикселей так необходимо. По мере того, как датчики камер смартфонов получают все больше и больше пикселей, потребность в качественном объединении пикселей становится все более важной. И это технология, которая постоянно развивается. Будь то тетра, нона или упомянутое выше гибридное объединение пикселей, компании все еще выясняют, какие методы лучше всего подходят для разных камер.