Датчик камеры смартфона может оставить размытые фотографии в прошлом
Парижская компания Prophesee в прошлом году произвела фурор, продемонстрировав собственную сенсорную технологию Metavision, основанную на событиях, для камер смартфонов. Основная идея стека заключалась в том, чтобы оставить размытые изображения в прошлом, продемонстрировав впечатляющие результаты на этапе разработки.
На MWC 2024 компания добилась еще одного крупного прорыва в партнерстве с Qualcomm. Компания, которая проводит серьезную работу в области нейроморфных систем зрения, объявила, что ее сенсорная технология Metavision уже достигла стадии производства.
Prophesee сообщает Digital Trends, что в сотрудничестве с Sony разработала датчик, который использует индивидуальную настройку программного обеспечения и огневую мощь, обеспечиваемую топовым чипсетом Qualcomm Snapdragon 8 Gen 3 . На фундаментальном уровне датчик Metavision заполняет пробел в визуальных данных в тандеме с датчиком изображения, открывая двери для получения изображений без размытия как в кромешной темноте, так и в очень ярких сценариях.
«Запатентованные датчики Metavision и искусственный интеллект Prophesee имитируют работу человеческого глаза и мозга», — говорят в компании. Событийный подход сенсорной технологии MetaVision использует подавление размытия при движении, чтобы гарантировать, что конечные результаты не будут иметь никаких признаков нечеткости, вызванной движением.
Как Prophesee пытается избавиться от размытых фотографий
Большинство камер смартфонов, даже флагманы высшего уровня, плохо справляются с быстродвижущимися объектами — не могут обеспечить надлежащую фиксацию фокуса. В результате изображения не только выглядят неуместными, но и артефакты движения делают их практически бесполезными.
Размытие изображения становится особенно заметным в условиях плохой освещенности или ночью, когда такие решения, как многокадровое шумоподавление, не реализуют свой истинный потенциал. Prophesee утверждает, что обеспечивает «беспрецедентный уровень» качества изображения в «быстро движущихся сценах и сценах при слабом освещении».
В отличие от типичного датчика камеры смартфона, в котором количество света меняется в зависимости от окна экспозиции, датчик Metavision обеспечивает «вечное время экспозиции» для непрерывной съемки движения. «Это как если бы в вашем телефоне была камера со скоростью 10 000 изображений в секунду», — утверждает компания.
Помимо предложения специального датчика, разработанного совместно с Sony, Prophesee также уделяет равное внимание стеку программного обеспечения и сопутствующим услугам интеграции. «Программное обеспечение Metavision Deblur сейчас выходит на стадию производства. Мы интегрируем как аппаратное, так и программное обеспечение в мобильные телефоны», — сообщает компания Digital Trends.
Идея состоит в том, чтобы предложить игрокам индустрии смартфонов беспрепятственный опыт, чтобы они могли развернуть весь комплект аппаратного и программного обеспечения Metavision на своих соответствующих устройствах на базе Snapdragon. Примечательно, что базовый уровень был установлен на флагманском процессоре Snapdragon 8 Gen 3, по-видимому, из-за его грубой огневой мощи, продвинутого интернет-провайдера и возможностей искусственного интеллекта следующего поколения.
Захватывающее будущее камер смартфонов
Решение Prophesee находится в полностью функциональном состоянии на сенсоре мобильной камеры Sony IMX636. В настоящее время технология протестирована только для основной камеры телефона. Однако компания сообщает Digital Trends, что в будущих версиях датчика Metavision предполагается поддержка нескольких датчиков, включая сверхширокоугольные и телеобъективные датчики.
В своем нынешнем состоянии сенсор событий Prophesee может творить чудеса только для создания неподвижных изображений без размытия. Но компания сообщает нам, что поддержка видео также включена в будущие планы.
«Это в первую очередь платформа для распознавания видео, используемая для захвата и обработки движения в различных случаях использования», — рассказал Digital Trends представитель Prophesee. Компания не уточнила, когда именно мы увидим сенсор Metavision в действии на коммерчески доступном смартфоне. Положительным моментом является то, что телефоны на базе Qualcomm Snapdragon 8 Gen 3 уже есть на рынке, а портфолио Metavision сейчас находится на стадии готовности к производству, и ждать долго не придется.
Судя по тому, что Prophesee показал в демонстрациях, если датчик Metavision выполнит эти обещания, он может открыть совершенно новую главу для фотографии на смартфоне, где среднестатистический пользователь не будет обременен регулировкой выдержки и других параметров, чтобы избежать размытия. картинки. И это довольно захватывающее будущее, о котором стоит задуматься.