Почему бы не использовать камеру для компьютерной фотографии, которая значительно расширяет возможности камеры iPhone?

При запуске серии iPhone 11 старший вице-президент Apple Филип Шиллер впервые представил концепцию компьютерной фотографии, представив систему обработки изображений серии iPhone 11 Pro. Эта концепция также была первой. Известен публике.

На самом деле концепция компьютерной фотографии не нова. Впервые она появилась в публичной статье в 1994 году, и было определено, что синтез HDR, панорамных фотографий и имитации боке в камере относится к категории компьютерной фотографии. Но в то время основным носителем фотографий все еще была пленка, и цифровые камеры только начинали работать, а на мобильных телефонах не было камер.

Спустя десятилетия носитель записи изображений сменился с пленки на цифровой, в мобильных телефонах есть камеры, а компьютерная фотография вышла из теории и постепенно стала основной тенденцией.

Однако эта тенденция мало связана с фотоаппаратами. Производители фотоаппаратов все еще постепенно улучшают пиксели, скорость непрерывной съемки и возможности видео. Они, кажется, слепы к компьютерной фотографии. Снятые фотографии (прямые) по-прежнему очень посредственные и постепенно используются смартфонами. «За гранью».

Напротив, вычислительная мощность чипов смартфонов становится все сильнее и сильнее, ИИ, алгоритмы и машинное обучение задействованы в более широком диапазоне. Появляется все больше и больше дедуктивных методов изображений, и, наконец, фотографий, обрабатываемых серией «алгоритмов». Также становится лучше.

В настоящее время многие люди более охотно используют мобильные телефоны для записи и обмена, а камеры становятся все менее распространенными. Это также отражается на рыночных показателях этих двух устройств. Рынок смартфонов стремительно растет, а рынок камер сокращается из года в год. Даже DC (карточные камеры ) Постепенно исчезла.

В настоящее время некоторые люди могут спросить, поскольку фотографии, сделанные на смартфоны, имеют такой хороший внешний вид, почему традиционные производители фотоаппаратов не следуют тенденциям компьютерной фотографии и не рассматривают возможность улучшения внешнего вида фотографий?

У камеры недостаточно вычислительной мощности для подсчета?

Начнем с «сути» этого вопроса.

Ядром мобильного телефона является SoC, который объединяет CPU, GPU, ISP, NPU и baseband. Он позволяет совершать звонки, делать снимки, смотреть видео, играть в игры и работать в Интернете. Он также напрямую определяет производительность мобильного телефона.

Основным компонентом камеры является датчик изображения (CMOS), который похож на мобильный телефон, за исключением области компонентов, для обработки изображений и светочувствительности. Кроме того, центральный процессор, управляющий всей системой камеры, называется процессором изображения.

Возьмем в качестве примера процессор обработки изображений Sony BIONZ X (серия α7 royal). Он включает чипы SoC и ISP. Он не интегрирует ISP в SoC. Преимущество состоит в том, что Sony может увеличить количество чипов ISP в соответствии с требованиями к производительности CMOS. (BIONZ X в α7RIII оснащен двумя ISP.) Недостатком является то, что степень интеграции не так высока, как у мобильных телефонов.

Роль SoC в BIONZ X аналогична роли мобильного телефона. Требования к производительности для управления интерфейсом управления и функциями камеры невысоки. Выполняйте преобразование Байера, демозаику, шумоподавление, повышение резкости и другие операции с «данными», собранными датчиком изображения, в основном полагаясь на ISP, и, наконец, конвертируйте данные, собранные CMOS, в изображение камеры в реальном времени. В этом процессе интернет-провайдер камеры не задействует процесс вычислений, а обрабатывает фотографии как продукты на конвейере для унифицированной обработки.

В связи с постоянным улучшением количества пикселей, скорости непрерывной съемки и производительности видео текущей камеры процессор изображений камеры имеет высокие требования к скорости и пропускной способности обработки изображений, а единичный объем данных очень велик, без необходимости «вычислений». , Производительность процессора изображения камеры намного превышает вычислительную мощность текущего интернет-провайдера смартфонов.

Но когда дело доходит до вычислительной фотографии или возможностей ИИ, все обстоит иначе. Процесс формирования изображения на смартфоне в некоторой степени похож на процесс изображения камеры, но до того, как будет представлено окончательное изображение, он также требует вычислений ISP и DSP, настройки и оптимизации в реальном времени, особенно после того, как многокамерная система становится основной, объем расчетных данных мобильного телефона удваивается.

После того, как серия iPhone 11 Pro запустила многокамерную систему, за плавным и плавным переключением многокамерной системы стоят огромные возможности обработки данных двух недавно добавленных ускорителей машинного обучения в A13 Bionic, достигающие одного триллиона раз в секунду. Возможности высокочастотной и эффективной обработки данных можно рассматривать как поглощающие огромное количество данных, генерируемых тремя камерами.

Процессор изображения камеры в основном предварительно обрабатывает исходные данные, и процесс расчета практически отсутствует, в то время как SoC мобильного телефона включает в себя предварительную обработку сбора данных и последующие процессы вычислений, причем оба этих процесса ориентированы на разные направления.

Различные группы, результат сегментации рынка

Фотография на мобильных устройствах быстро развивалась. Основная причина заключается в том, что размер сенсора изображения (CMOS) мобильного телефона слишком мал. С нынешней технологией, если вы хотите физически превзойти камеру или приблизиться к ней, вы можете оптимизировать ее только с помощью алгоритмов, чтобы она выглядела просто, например, автоматически HDR, супер ночная сцена, имитация большой диафрагмы, волшебное изменение неба и другие функции.

Но интерпретация этих алгоритмов все еще затруднительна для достижения «индивидуального» вмешательства, например, до какой степени добавлен фильтр и до какой степени сохраняются блики и тени HDR. Однако для мобильных телефонов, предназначенных для широкой публики, по возможности позволяйте большинству людей делать хорошие фотографии, что больше соответствует рыночному позиционированию и массовому позиционированию мобильных телефонов.

С момента изобретения камеры она имеет абсолютный атрибут «инструмент». Чтобы быть эффективной, внешний вид, управление, функции и т. Д. Будут снижать эффективность. Обращаясь к нишевой профессиональной группе, она, естественно, будет больше соответствовать их потребностям. Камеры будут записывать глубину цвета, цвет, свет и другую информацию в максимально возможной степени, чтобы пользователи могли вносить более широкий спектр пост-корректировок, чтобы определить, хорошо это или нет. Не в их нуждах.

Для большинства людей, не имеющих опыта в фотографии, получить красивую фотографию под рукой гораздо важнее, чем получить информативную фотографию. Для профессиональных производителей камер увеличение глубины цвета при записи RAW больше соответствует рыночному позиционированию, чем усиление прямого эффекта JPG.

Однако все не так однозначно, и камеры тоже пытаются измениться. Fuji всегда стремилась к прямолинейному эффекту камеры, внедряя «имитацию пленки» с помощью различных алгоритмов, чтобы сделать фотографии более красивыми и лучше выглядеть. Однако этот процесс не требует вычислений сцены, а требует, чтобы пользователи выбирали сами. Это похоже на некоторые приложения для моделирования фильмов на мобильных телефонах и не включает так называемую «вычислительную фотографию».

После ИИ это вообще направление камеры?

В области фотографии постобработка является незаменимым шагом. С одной стороны, программное обеспечение постобработки может в полной мере использовать богатую информацию, записанную в формате RAW, а с другой стороны, оно также может использовать высокую производительность и вычислительную мощность ПК для быстрой обработки фотографий.

В отличие от производителей камер, почти стандартное профессиональное программное обеспечение для постпроизводства начало работать с ИИ, делая упор на возможности обработки ИИ.

Adobe Photoshop добавил функцию автоматического распознавания к таким операциям, как вырезание, восстановление и дермабразия в последних версиях обновления, что сделало операцию все более безмозглой, а эффект все более точной. Программное обеспечение для ретуширования Pixelmator Pro на платформе Mac начало использовать машинное обучение Apple Core ML для распознавания изображений еще в 2018 году, чтобы выполнять настройку цвета, матирование, выбор и даже сжатие вывода. Использовалось машинное обучение ML. двигатель.

Как упоминалось выше, из-за ограниченности вычислительной мощности микросхем AI и проблемы нишевого рынка производители фотоаппаратов почти не прилагают усилий для компьютерной фотографии. Тем не менее, бурное развитие более позднего программного обеспечения в области ИИ также можно рассматривать как восполнение недостатков камер в компьютерной фотографии.

Даже если включен ИИ более позднего программного обеспечения, камеры все еще не избавились от традиционного процесса. Камеры записывают и программные процессы. Этот процесс по-прежнему является громоздким для публики. Для профессиональных фотографов вмешательство более позднего программного обеспечения ИИ действительно может снизить рабочую нагрузку и значительно упростить первоначальные сложные операции по вырезанию, но оно по-прежнему не может полностью изменить процесс обработки (создания) фотографий в традиционной фотоиндустрии, который полностью отличается от мобильного телефона. другой.

По данным CIPA, рынок фотоаппаратов постепенно сужается, а рынок мобильных телефонов, наоборот, продолжает расти. Тенденция «компьютерной фотографии» на смартфонах не изменит направление развития профессиональных камер и не повернет вспять постепенное сокращение рынка фотокамер.

Перед лицом угрожающих мобильных телефонов камеры могут развиваться только в более профессиональном направлении и продолжают подразделять рынок вверх. В последние годы полнокадровые 40 миллионов и 60 миллионов пикселей с высоким разрешением, средний формат более 100 миллионов пикселей и микро-сингл Возможности видео продолжают приближаться к профессиональным видеокамерам, которые являются продуктами сегмента камеры.

Растущая специализация камер означает необходимость в более эффективных датчиках изображения (CMOS), но «вычислительная фотография» полагается на отдельный модуль машинного обучения. Как мы все знаем, высокая стоимость и высокий риск разработки микросхем затрудняют создание производителей камер. Позаботьтесь о обоих. Вычислительная фотография и развитие специализации – это два разных пути. В то же время, в отношении таких функций, как «вычислительная фотография» и «вмешательство ИИ», которые мало используются профессиональными пользователями, производители камер, вероятно, будут временно отказаться от стратегии из-за баланса затрат на исследования и разработки.

На данном этапе или в обозримом будущем еще сложнее заставить производителей камер использовать «вычислительную фотографию» с высоким риском, высокими инвестициями и медленными результатами, не говоря уже о том, что все еще существует множество профессиональных программ для постпроизводства, использующих ИИ для ретуширования фотографий. В конце.

# Добро пожаловать в официальный аккаунт Aifaner в WeChat: Aifaner (идентификатор WeChat: ifanr), более интересный контент будет предоставлен вам в ближайшее время.

Ai Faner | Исходная ссылка · Посмотреть комментарии · Sina Weibo