Четвертый объектив Huawei Mate 70 Pro, его самая сильная способность — не фотографировать.

Айфанер фокусируется на «продуктах завтрашнего дня». Колонка «Жесткая философия» пытается сорвать покров технологий и параметров и исследовать происхождение человеческой природы в дизайне продуктов.

Основная камера, телеобъектив и сверхширокоугольный объектив могут быть названы «тремя королями» мобильной фотографии. Они в принципе могут справиться с повседневными съемками большинства пользователей. Некоторые флагманские телефоны также будут оснащены дополнительным телеобъективом. основе удовлетворить более экстремальные творческие потребности.

Недавно выпущенные Huawei Mate 70 Pro и Pro+ также имеют четыре камеры, но дополнительная камера немного особенная: Huawei называет ее «камерой основного цвета красного клена», которая на самом деле представляет собой миниатюрный мультиспектрометр.

Мультиспектральные тепловизоры в основном используются в более профессиональных сценариях, таких как почвенное и водное земледелие, тестирование пищевых продуктов и т. д. Приложения для смартфонов не только редки, но и объективов с такими высокими параметрами, как у Huawei, практически не существует.

Но в не столь отдаленном будущем подобные мультиспектральные сенсорные модули появятся и на более умных устройствах вокруг нас.

Решите проблему «слабости цвета» при фотосъемке.

Хотя производители смартфонов уже много лет совершенствуют свои возможности обработки изображений, а модули камер на мобильных телефонах становятся все больше и выпуклее, все еще остается твердый орешек, который необходимо решить – восстановление цвета.

В настоящее время традиционные датчики камер мобильных телефонов обычно фиксируют красный, зеленый и синий цвета (RGB) для представления цветов в определенном диапазоне. Каждый пиксель имеет только одну информацию о цвете: красный, зеленый или синий. Для объединения цветовых отношений требуется алгоритм. окружающих пикселей, вычислить истинный цвет каждого пикселя и, наконец, максимально восстановить сцену, которую мы видим невооруженным глазом.

Однако цвета, состоящие из красного, зеленого и синего, составляют лишь 75% цветов, видимых человеческому глазу, а потеря цвета в готовой пленке относительно велика.

Более того, поскольку для «расчетов» используются алгоритмы, точность не может быть полностью гарантирована, а в более сложных условиях цвета и освещения точность алгоритма будет еще больше снижаться, поэтому кожа людей иногда кажется желтоватой и желтоватой на фотографиях; . покраснение.

Чтобы решить проблему цветового оттенка, производители стараются начать с двух направлений: программного и аппаратного.

Google Pixel, заработавший состояние на компьютерной фотографии, запустил цветовой алгоритм под названием «Real Tone», позволяющий восстанавливать истинные оттенки кожи представителей разных рас во время фоновой обработки фотографий.

Многие производители также пытаются изменить трек, не преследуя идеального восстановления цвета, а перенимая стилизованные идеи для придания фотографиям лучшего визуального вида, а не 100% восстановления.

Компания Huawei оснащена 5-канальным датчиком цветовой температуры начиная с мобильных телефонов P20 и постепенно модернизировалась до 10-канального многоспектрального датчика цветовой температуры в серии P50, который может улавливать полосы, отличные от обычного RGB, включая некоторые полосы, отличные от обычного RGB. видимый свет.

Затем с помощью алгоритма XD Fusion Pro видимый и невидимый свет объединяются, чтобы представить больше деталей цвета.

Использование многоканальных мультиспектральных датчиков для исправления «слабости цвета» камер на самом деле является распространенным решением в отрасли. Vivo и OPPO попытались оснастить свои флагманы аналогичными модулями мультиспектральной цветовой температуры.

Проще говоря, этот тип датчика может улавливать больше цветов в определенных диапазонах длин волн, но он может производить только общее восприятие и оценку общего окружающего света. Он не может предоставить информацию о локальном источнике света и цвете, а также не имеет возможностей формирования изображения.

1,5-мегапиксельный модуль основной цветной камеры красного клена представляет собой, по сути, 150 независимых мультиспектральных инструментов с более высокой чувствительностью к цвету и возможностям обработки изображений, то есть он может одновременно получать двумерные изображения и хроматографическую информацию, а также записывать. Возможности также выходят далеко за рамки RGB. три цвета.

Говоря человеческим языком, основная камера, телеобъектив и сверхширокоугольный объектив Huawei Mate 70 Pro обычно могут делать фотографии высокой четкости, тогда как основная цветная камера специально записывает детали цвета каждой области на фотографии, а затем процессор выдает На фотографии правильная информация о цвете, основанная на этой точной информации о цвете лака.

Но верхний предел этой мультиспектральной камеры с высокими параметрами далеко выходит за рамки этого.

«Огненные глаза» мобильных телефонов

Различные материалы по-разному поглощают и отражают свет и представляют разные спектры.

Проще говоря, разные вещества будут показывать разные «цвета», некоторые видны невооруженным глазом, а некоторые необходимо фиксировать мультиспектральными камерами.

По этим спектрам мы можем сделать выводы о текущих свойствах и состоянии веществ. Поэтому мультиспектрометры часто используются в таких профессиональных областях, как мониторинг окружающей среды, сельское хозяйство, лесное хозяйство и животноводство, медицинская диагностика, химический анализ и уголовные расследования.

Соответствующие инсайдеры отрасли сообщили Айфанеру, что максимальное количество пикселей спектрального модуля в отрасли может достигать 2 миллионов, тогда как мультиспектральная камера серии Huawei Mate 70 достигла 1,5 миллиона пикселей.

Такие качества могут быть неприменимы к вышеупомянутым профессиональным областям, но если Huawei захочет открыть сторонние интерфейсы, это может создать больше возможностей для Mate 70, выпущенного для потребителей.

Например, мы можем использовать мультиспектрометр на наших мобильных телефонах для сканирования сельскохозяйственной продукции, которую мы покупаем на овощном рынке. Остатки пестицидов, которые невозможно увидеть невооруженным глазом, также будут обнаружены мультиспектральной камерой из-за различных спектральных характеристик. Таким же образом его можно использовать для обнаружения флуоресцентных веществ в бумажных полотенцах.

Например, состояние кожи также можно сфотографировать с помощью мультиспектрометра, чтобы заранее обнаружить такие проблемы, как сухость кожи, бледность, тусклость, пятна и т. д. для ухода за кожей.

Поскольку спектры ближнего и среднего инфракрасного диапазона, представленные кровью, теоретически могут быть распознаны спектрометром, с помощью серии Huawei Mate 70 можно сделать «селфи», чтобы примерно контролировать уровень сахара в крови, уровень кислорода в крови и другие показатели.

Короче говоря, эта мультиспектральная камера действительно похожа на «Огненные глаза» Сунь Укуна, которые могут заставлять объекты «раскрывать свою первоначальную форму», просто «видя».

Для ИИ это определенно желанная возможность.

Текущий способ взаимодействия между помощниками ИИ и внешним миром заключается в основном в использовании камер для захвата изображений и их последующего анализа. Однако информация на плане помещения ограничена, и ИИ сложно проводить более расширенную интерпретацию.

А если мультимодальный ИИ сможет вызывать мультиспектральные камеры, он может значительно обогатить получаемую внешнюю информацию. Например, «посмотрев» на холодильник, ИИ может проанализировать свежесть ингредиентов на основе спектральных характеристик и предоставить более подходящие и подробные предложения рецептов ужина.

Выпрыгнув из мобильного телефона и подойдя к камере спектра умного дома, тоже открывается широкое пространство для развития. Представьте себе духовку, которая может разумно определять состояние ингредиентов. Пользователям не нужно вручную устанавливать температуру и время. Они могут выбрать оптимальный метод приготовления.

Использование мобильного телефона для фотографирования щенков с целью интеллектуальной идентификации будет подвергаться критике, но если вы сможете фотографировать щенков для быстрого теста на кожные заболевания, это действительно изменит вашу жизнь.

Еще больше устройств на подходе

Почему столь полезный мультиспектрометр до сегодняшнего дня не появился в наших мобильных телефонах?

Размер и вес традиционных мультиспектральных инструментов на самом деле далеки от того, чтобы их можно было сжать до уровня модуля камеры мобильного телефона. Основное устройство, используемое для спектрометрии в мультиспектрометре, — решетка, — трудно уменьшить в размерах и требует определенного диапазона пропускания. Для расширения спектрального диапазона иногда приходится устанавливать в прибор несколько решеток.

Qiushi Spectrocracy, отечественная оптическая компания, изучает возможность использования алгоритмов для замены физических спектроскопических компонентов, позволяющих успешно уменьшить спектрометр.

Еще одним фактором, препятствующим внедрению мультиспектральных камер в смартфоны, является вычислительная мощность: при нажатии затвора мобильного телефона процессору необходимо использовать подробную спектральную информацию для завершения обработки фотографии. Если производительность не успевает, время производства сокращается. мобильный телефон укоротится. Он очень длинный и серьезно влияет на качество съемки.

После непрерывных прорывов в производительности процессоров мобильных телефонов, объединяющих ЦП, графический процессор и NPU (процессор искусственного интеллекта), эта проблема была решена.

В 2022 году компания Huawei Hubble инвестировала в компанию Qiushi Spectrum. Сегодня, 2 года спустя, на свет появилась серия Huawei Mate 70 — первый смартфон, оснащенный 1,5-мегапиксельным мультиспектрометром.

Но на этот раз Huawei не будет лидером слишком долго. Фактически, за рубежом уже изучают аналогичные пути внедрения мультиспектральных чипов в мобильные устройства.

Бельгийская компания Spectricity выпустила мультиспектральный датчик S1 специально для смартфонов в 2023 году. Принцип и эффект аналогичны камере основного цвета красного клена, а также могут улучшить точность цветопередачи камер мобильных телефонов.

В этом году Spectricity объявила о партнерстве с Qualcomm с целью разработки отличных продуктов со спектральными датчиками изображения для платформы Qualcomm Snapdragon.

В настоящее время потребительских мобильных телефонов, оснащенных S1, не было выпущено, но Spectricity заявила, что достигла сотрудничества с несколькими производителями мобильных телефонов, включая бренды из Китая, и сопутствующие продукты будут выпущены в ближайшее время.

Возможно, в следующем году этот датчик, который все еще немного незнаком публике, будет часто использоваться на различных премьерах флагманских мобильных телефонов и станет еще одним новым аргументом в пользу продажи.

Для потребителей эта камера не только означает, что мы можем делать фотографии с более точными цветами, но также содержит новые возможности для революционного взаимодействия человека и компьютера.

Справочная статья:
«Спектральная камера, самый блестящий «глаз» Huawei Mate в истории»
«Спектральная визуализация: вступление в новую эру изображений с использованием искусственного интеллекта для мобильных телефонов»

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo