На какой будущий чип делают ставку Apple, Qualcomm и Google? Жесткая философия

Во время моего опыта работы с Pixel 6 Pro, помимо фотографирования, я редко чувствовал что-то не так с тем, что Google назвал «самым умным телефоном Pixel», пока однажды утром меня не разбудил будильник моего телефона.

В отличие от операции скольжения, чтобы закрыть будильник на обычном мобильном телефоне, Pixel 6 Pro предлагает мне сказать «Отложить (еще один перерыв)» или «Стоп (стоп)», чтобы управлять будильником, и когда я говорю «Стоп "Осторожно, будильник. Сотовый телефон, который продолжал работать, молчал.

Это тривиальная маленькая функция, но она держит меня в хорошем настроении каждое утро, когда я просыпаюсь по будильнику.

Наконец, мне больше не нужно заставлять сонливость искать свой мобильный телефон, просто нужно предложение, чтобы заткнуть опасный для жизни мобильный телефон.Это первый раз, когда я чувствую, что мобильный телефон может меня «понимать».

Секрет «понимания слов людей» скрыт в скромном ТПУ.

Повсеместные вычисления ИИ

На SoC мобильного телефона наличие NPU всегда слабее, чем у CPU и GPU.

У этого процессора, ориентированного на работу с нейронными сетями, даже нет единого названия: на чипе Kirin он называется NPU, а на бионическом чипе серии A — Neural Engine; Google называет его TPU, а MediaTek думает, что он используется для него. должен называться APU для расчета AI…

Хотя эти чипы имеют разные названия и разные архитектуры и принципы, их цели во многом схожи — ускорить машинное обучение и повысить вычислительную мощность искусственного интеллекта мобильных телефонов.

Если вы обратите внимание на производительность процессора мобильного телефона, вы обнаружите, что будь то чип A-серии для iPhone или флагманский чип Snapdragon для Android, вычислительная мощность процессора в прошлом была очень ограничена. два года, и явление «выдавливания зубной пасты» в производительности становится все более и более серьезным.

Напротив, вычислительная мощность ИИ стала показателем параметра, который все больше производителей хотят упоминать. Взяв в качестве примера чип A-серии, бионический чип Apple A14 почти удвоил свою пиковую вычислительную мощность по сравнению с предыдущим поколением и может выполнять 11 триллионов операций в секунду.

Год спустя бионический чип A15 все еще может принести существенное улучшение более чем на 40% на этой основе и может выполнять до 15,8 трлн операций в секунду.

Прогресс вычислительной мощности ИИ в лагере Android также очень впечатляет. 23 600 баллов.Четыре года спустя чип Google Tensor достиг вершины с высоким баллом 214 700. , а Kirin 9000 и Snapdragon 888 также набрали около 160 000 баллов.

Поскольку вычислительная мощность ИИ растет почти в геометрической прогрессии, почему нам сложно почувствовать какие-либо изменения? Не слишком ли далека от нас эта слегка продвинутая по звучанию функция искусственного интеллекта?

На самом деле, каждый раз, когда вы разблокируете телефон, активируете голосового помощника или даже нажимаете кнопку спуска затвора, происходит тесный контакт с вычислениями ИИ.

NPU похож на черный ящик, он делает процесс расчета ИИ практически несуществующим, делая вас невидимым для технологий, но окруженным более естественным взаимодействием человека и компьютера. Эволюция голосового помощника Google — хороший пример.

С тех пор, как Siri присоединилась к функции голосового пробуждения «Привет, Siri» в 2014 году, слова пробуждения почти привязаны к голосовому помощнику.Каждый раз, когда мы разговариваем с голосовым помощником, нам приходится утруждать себя вызовом их имен. : Siri, Xiao Ai, Xiao Bu, Xiaoyi… Если голосовая среда очень шумная, этот неловкий процесс может повторяться много раз.

Это связано с тем, что из-за соображений энергопотребления процессор мобильного телефона не может тратить вычислительную мощность на анализ каждого предложения пользователя в фоновом режиме в течение длительного времени.В настоящее время голосовой приемник с низким энергопотреблением и распознаванием только слов пробуждения необходимо работать постоянно.

Когда сигнал слова пробуждения получен, основной процессор мобилизуется для прослушивания следующей инструкции пользователя.

Тем не менее, хотя это может обеспечить пробуждение голосом с низким энергопотреблением, это все еще немного далеко от идеальной формы ИИ-помощников в научно-фантастических фильмах. взаимодействие с компьютером немного неудобно.

Функция Google «Команды быстрого доступа» в серии Pixel 6 воплощает в реальность это естественное взаимодействие, которое существует в научно-фантастических фильмах.

Как упоминалось в начале статьи, пользователи также могут разбудить Google Assistant для выполнения определенных задач, таких как выключение будильника и ответ на вызовы, не выкрикивая слова пробуждения, такие как «ОК, Google», с помощью «быстрых инструкций».

Для направленного разделения человеческих голосов в шумной звуковой среде мобильные телефоны должны иметь возможности более точного распознавания голоса и использовать более сложные алгоритмы сверточной нейронной сети для точного захвата и распознавания пароля пользователя.

И чип TPU от Google, специально разработанный для вычислений ИИ, как раз соответствует этой потребности в вычислительной мощности ИИ, и это естественное голосовое взаимодействие, наконец, реализовано в серии Pixel 6.

NPU, основанный на нейронном процессоре, намного эффективнее, чем традиционный ЦП, в распознавании и обработке изображений и речи.Таким образом, производители мобильных телефонов могут разрабатывать множество функций, таких как вычислительная фотография и распознавание текста, для обогащения программных функций системы.

В последней версии iOS15 от Apple многие новые функции разработаны на основе механизмов нейронных вычислений, таких как пространственный звук и портретный режим, добавленные в FaceTime, извлечение и перевод текста в реальном времени, фотоальбомы для прямого поиска текста на фотографиях, автономная работа Siri и т. д. .

Поскольку эти функции предъявляют определенные требования к вычислительной мощности ИИ, Apple также подчеркнула, что если чип SoC не является более поздней моделью A12 Bionic, то даже при обновлении до iOS15 эти функции не могут быть реализованы.

Другим примером является интеллектуальная идентификация идентификационных фотографий в MIUI13, добавление водяных знаков, защита конфиденциальности с проверкой лица и другие функции.Пространственные жесты HarmonyOS и поворот головы также разработаны с использованием таких технологий, как распознавание изображений AI и оптическое распознавание текста.

Функции искусственного интеллекта стали важной частью нашей повседневной работы с мобильными телефонами, а NPU, который изначально считался незначительным, стал неотъемлемой частью системного программного обеспечения.

Зачем нужны вычислительные чипы ИИ?

По сравнению с другими частями мобильных телефонов, NPU появился намного позже.

В сентябре 2017 года Huawei представила Kirin 970 на выставке IFA в Берлине, которая является первой SoC со встроенным NPU.В тот же период Apple выпустила первый бионический чип A11, оснащенный двигателем нейронных вычислений.Оба лагеря обратили внимание в области вычислений ИИ на удивление синхронно.

Появление функций ИИ может показаться внезапным, но на самом деле это результат естественной эволюции при развитии форм смартфонов.

В интервью с вице-президентом Apple Тимом Миллетом о чипах A-серии журнал Wired упомянул, что за несколько лет до выхода iPhone X некоторые инженеры Apple предложили использовать алгоритмы машинного обучения, чтобы сделать камеру iPhone «умнее».

Именно эта идея делает возможным появление iPhone X, который определяет форму iPhone в следующем десятилетии. Переход на полноэкранный iPhone X требует нового механизма безопасности для замены Touch ID, который изначально занимает подбородок и не может отставать от прежнего с точки зрения точности и скорости разблокировки.Для достижения этих целей Apple обратилась к 3D-структурированному светлому лицу. признание.

Каждый раз, когда iPhone включается для разблокировки, камера определения глубины, расположенная в челке, создает карту глубины через тысячи точек, которая будет сравниваться с сохраненными данными о лице для завершения разблокировки, и этот процесс сбора, создания и корректуру необходимо контролировать.В мгновение ока, что более важно, потребление энергии должно поддерживаться на достаточно низком уровне.

Согласно данным, опубликованным Apple, пользователи iPhone разблокируют в среднем 80 раз в день.Если центральный или графический процессор необходимо мобилизовать для выполнения мощных графических операций каждый раз, когда они разблокируются, это будет серьезной проблемой для времени автономной работы устройства. телефон.

Механизм нейронных вычислений с многоядерной архитектурой может выполнять большое количество операций одновременно, а благодаря глубокому машинному обучению он может распознавать и оценивать информацию о человеческом лице, как человеческий мозг.Использование его для реализации распознавания лиц имеет различное энергопотребление и производительность по сравнению с традиционными процессорами небольшое преимущество.

«Мы не смогли бы сделать это без механизма нейронных вычислений», — сказал в интервью Тим Миллет.

С увеличением количества ядер вычислительная мощность механизма нейронных вычислений также будет значительно улучшена, а его применение будет становиться все более и более обширным.

Например, 8-ядерный нейронный вычислительный движок бионического чипа A13 обеспечивает функции Deep Fusion и режима ночной сцены для серии iPhone11, что улучшает четкость и детализацию фотографий за счет многократного слияния. плавный зум.

В целом, появление NPU, таких как механизмы нейронных вычислений, может хорошо разделить вычислительную нагрузку ЦП или ГП.Благодаря эффективному параллельному анализу и вычислению больших данных можно извлекать значимые результаты и использовать более естественную обработку. наш опыт.

ИИ снова будет определять смартфоны

Джон Джаннандреа, старший вице-президент по стратегии машинного обучения и искусственного интеллекта в Apple, упомянул в интервью, что, по его мнению, в ближайшие несколько лет все функции iOS или экосистемы программного обеспечения Apple будут изменены машинным обучением.

Я думаю, Apple всегда представляла собой пересечение творчества и технологий. Когда вы думаете о создании интеллектуального опыта, очень важно вертикально интегрировать приложения, фреймворки, чипы… Я думаю, что это путешествие, это будущее вычислительных устройств, которые у нас есть, они становятся умными, и тогда этот Интеллект станет невидимым. .

Оригинальный iPhone переопределил мобильный телефон с взаимодействием с сенсорным экраном и подключением к Интернету в любое время и в любом месте.С тех пор мобильный телефон превратился в ответвление «функционального телефона» и «смартфона».

Когда функции смартфонов сближаются, так называемые «умные» — отправка WeChat, воспроизведение музыки, фотосъемка, просмотр новостей и т. д. — в некотором смысле возвращаются к функциям.

Смартфоны должны быть переопределены, а новый интеллект должен интерпретироваться как мобильный телефон, который "понимает людей". Он может распознавать мир, который вы видите, понимать каждую вашу команду и динамически подстраиваться в соответствии с окружающей средой. Для всего этого требуются чипы искусственного интеллекта. Получить глубоко вовлечен.

По мере того, как цепочка поставок оборудования для мобильных телефонов становится все более и более прозрачной, различия в основных компонентах мобильных телефонов среднего и высокого класса становятся все меньше и меньше, а функции программного обеспечения привлекают все больше внимания со стороны производителей. , цепочка поставок оборудования обеспечивает хороший способ сделать «основные ингредиенты» блюд, и если вы хотите приготовить уникальный вкус, отличное программное обеспечение является ключевой «приправой».

Сегодня у нас уже есть достаточно четкий экран и камера, способная снимать пейзажи со 100 метров, но опыт смартфонов не ограничивается обычным дисплеем и фотографией.

Он должен позволять вам снимать несколько фотографий с фокусным расстоянием одновременно, чтобы вы не пропустили пейзаж, торопясь сфокусироваться; он должен иметь возможность предварительного просмотра ночной сцены или эффекта HDR в режиме реального времени в видоискателе, а не дольше ждать изображения; он даже должен стать переводчиком, который может сопровождать вас в ваших путешествиях, даже если сеть плохая, он может выполнять перевод в режиме реального времени в автономном режиме.

ИИ — лучший выбор, чтобы помочь нам реализовать эти функции.Чтобы более глубоко настроить функции программного обеспечения, все больше производителей мобильных телефонов, таких как Google и OPPO, начали участвовать в разработке чипов NPU, чтобы догнать предшественников, таких как Apple и Хуавей.

В то же время мощная вычислительная мощность ИИ больше не является патентом разработчиков чипов собственной разработки Qualcomm Snapdragon 8 и Dimensity 9000 рассматривают вычислительную мощность ИИ как центр улучшения и превзошли Tensor от Google по производительности ИИ. Недавно выпущенный процессор Exynos 2200 также направлен на повышение производительности NPU, что обеспечивает удвоение производительности.

Сосредоточенные усилия чиповых гигантов на производительности ИИ делают мобильные ИИ-чипы похожими на «новый закон Мура».

Помимо скорости роста производительности, очень впечатляет и популярность ИИ-чипов: согласно статистике агентства Counterpoint, количество мобильных телефонов со встроенными ИИ-чипами в 2017 году составляло лишь 3% рынка. доля, а в 2020 году этот показатель достиг 35%.

В будущем все больше мобильных телефонов будут поддерживать вычисления с ускорением ИИ, а это означает, что использование машинного обучения для разработки мобильных приложений станет новой нормой. обучение уже появилось.Реализуйте функции искусственного интеллекта, такие как размытие фона и отсечение одним щелчком мыши.

При участии производителей мобильных телефонов и сторонних разработчиков приложения ИИ будут продолжать углубляться, и форма смартфонов также может соответственно измениться, став программно-аппаратным симбиозом для приятного опыта.

В то время битва за право говорить в виде смартфонов будет постепенно переходить от управления цепочкой поставок к контролю над пользовательскими большими данными.

#Добро пожаловать на официальный аккаунт Айфанер в WeChat: Айфанер (WeChat: ifanr), в ближайшее время вам будет представлен более интересный контент.

Love Faner | Исходная ссылка · Просмотреть комментарии · Sina Weibo