Этот крошечный сенсор изменит камеру вашего телефона навсегда
«Мы считаем, что есть реальная возможность разработать и использовать спектральный сканер в смартфоне. Несмотря на весь прогресс, достигнутый с различными камерами и вычислительной мощностью смартфона, ни один из них не может определить истинный цвет изображения».
Вот как генеральный директор Spectricity Винсент Муре описал миссию компании в области цифровых тенденций в недавнем интервью, а также причину, по которой она создает миниатюрный датчик спектрального изображения, готовый для использования в смартфоне. Но что такое спектральный датчик и как он работает? Оказывается, он может делать гораздо больше, чем просто захватывать красивые цвета.
Вы когда-нибудь видели этот цвет?
Прежде чем мы перейдем ко всему этому, давайте поговорим о том, что мультиспектральный датчик изображения Spectricity S1 делает для камер. В большинстве телефонных камер используются трехцветные датчики RGB (красный, зеленый и синий), но датчик Spectricity S1 смотрит дальше в видимый свет и ближний инфракрасный диапазон, чтобы воспроизводить более естественные и стабильные цвета, а также значительно улучшенный баланс белого.
«Стандартная камера, встроенная в смартфон, оснащена датчиком RGB, который видит красный, зеленый и синий цвета, — сказал Муре. «Мы добавляем фильтры для создания до 16 различных изображений с разными цветами, разной длиной световой волны, светом, исходящим из разных источников, и отраженным светом, исходящим от объекта сцены. Вы можете определить множество различных свойств благодаря этим различным изображениям по сравнению со стандартным RGB».
Это означает, что независимо от условий освещения изображения, сделанные телефоном с датчиком S1, будут иметь более согласованные цвета, как вы можете видеть в примере изображения ниже. Во время нашего разговора я видел живую демонстрацию, которая воспроизводила цветопередачу и согласованность, показанные в примере, но стоит отметить, что датчик управлялся ПК, а не смартфоном.
«Вы увидите, что с камерами Xiaomi, Samsung, Apple и Huawei цвета сильно различаются в разных условиях освещения. В той же сцене, снятой нашим спектральным тепловизором, есть небольшие отличия, но незначительные. Цвета вне изображений — это цвета, видимые нашим невооруженным глазом. Вы можете видеть, что все смартфоны воспроизводят очень разные цвета».
Эта точность цветопередачи также улучшит способность камер смартфонов лучше воспроизводить различные оттенки кожи. На другом примере изображения датчик S1 показал значительные улучшения и здесь.
«Вы можете видеть, что оттенки кожи совершенно разные в зависимости от условий освещения», — отметил Муре. «Решение состоит в том, чтобы использовать спектральный формирователь изображений для анализа условий освещения, чтобы действительно дать правильный тон. Это единственный способ. Вы можете поставить за этим много ИИ, но этого недостаточно. Вам нужно дополнительное оборудование».
К сожалению, у Муре не было под рукой телефона Google Pixel , чтобы сравнить датчик S1 с вычислительной технологией Google Real Tone , которая обещает сделать что-то подобное, только за счет усовершенствований программного обеспечения .
Датчик или камера?
Преимущества спектрального датчика изображения, такого как S1, кажутся очевидными, и кто не хочет более эффективного баланса белого и естественных, устойчивых цветов на своих фотографиях? Но то, как Муре описал возможности S1, заставило его больше походить на камеру, чем на датчик. Что он? Может ли он действительно поместиться внутри смартфона? Если да, то какие модификации потребуются?
Разработчик приложений Spectricity Майкл Джейкобс, запустивший демонстрацию, которую я смотрел, объяснил, что такое S1 на самом деле.
«Это действительно вспомогательный датчик, очень похожий на датчик глубины или 3D-датчик, используемый с RGB-камерой», — подтвердил он.
Тем не менее, технически он делает фотографии, но не те, которые вы хотели бы использовать по отдельности, как объяснил Муре:
«Наш датчик изображения имеет разрешение VGA, 800 x 600 пикселей. Вам нужно объединить это меньшее спектральное изображение с изображением RGB. Сам модуль действительно очень маленький. Он был разработан для интеграции в смартфон. Так что это 5 мм на 5 мм на 6 мм», — сказал мне Муре, прежде чем рассказать больше о том, как устроен датчик. «Это непросто, но я бы сказал, что в этом нет ничего сложного», — пояснил он, добавив, что модуль построен с использованием тех же методов, что и обычные датчики CMOS. «С точки зрения общей стоимости, полный модуль будет стоить столько же, сколько стандартная камера большого объема».
Прямо сейчас датчик будет интегрироваться со стандартным процессором сигналов изображения (ISP), используемым процессорами смартфонов от Qualcomm и MediaTek, но для работы потребуется дополнительное программное обеспечение.
Мультиспектральный датчик изображения S1 не является универсальным устройством, и на самом деле у него есть еще одна интригующая функция, заключающаяся в том, что он может распознавать и анализировать биомаркеры кожи. Это означает, что он может сказать, «видит» ли он реального человека, что может быть использовано для приложений безопасности — например, он знает, носит ли кто-то маску, чтобы скрыть свою личность — уход за кожей и даже в приложениях для здоровья, когда в сочетании с ИИ и другим программным обеспечением. Его также можно использовать для улучшения фотографий в портретном режиме.
Когда он будет использоваться в телефоне?
Производители уже некоторое время работают над улучшением цветопередачи на телефонах, начиная с LG G5 в 2016 году, в котором для улучшения цветопередачи использовался специальный датчик цветового спектра вместе с датчиком лазерного автофокуса. Huawei выбрала другой подход и отказалась от датчика RGB на P30 Pro в пользу датчика RYYB, чтобы лучше воспроизводить цвета и улучшать производительность при слабом освещении. Olympus и Imec также экспериментировали с датчиками RGB ближнего инфракрасного диапазона для различных приложений.
Сенсор Spectricity S1 является первым в мире и работает в другом направлении, чем в этих примерах. Судя по демонстрационным и примерным изображениям, он подает большие надежды — но когда нам ожидать его появления на телефоне?
«Сначала он будет представлен на телефонах высокого класса», — сказал Муре. «Это будет небольшой объем в 2024 году, более высокий объем в 2025 году, а затем, начиная с 2026 года, он станет более распространенным».
Муре также ожидает, что первые образцы появятся у китайских производителей смартфонов, а не у таких компаний, как Samsung и Apple. Однако Муре ожидает, что это изменится в будущем, и в пресс-релизе CES 2023 о датчике S1 он не сдержал своих ожиданий, заявив:
«Мы ожидаем, что первые модели смартфонов с S1 будут выпущены в 2024 году, и мы ожидаем, что все смартфоны будут включать нашу технологию в ближайшие годы».
Да, все смартфоны . Это большая цель, но если производительность, которую мы видели в демо-версии, — это то, что мы в конечном итоге увидим с камеры телефона с S1 рядом с ней, немногие производители захотят остаться позади.