Откройте Snapdragon 8 и посмотрите, там полно важных документов для встреч.
«Помимо оптимизации фотографий и голосовых помощников, что еще есть у ИИ мобильных телефонов?»
Когда в этом году было выпущено новое поколение мобильной платформы Snapdragon 8, Qualcomm снова перевела и перевела то, что является большой дырой в мозгу –
Позвольте мобильному телефону научиться «авторизовать» и распознавать возможные заболевания пользователя с помощью голоса, такие как депрессия и астма;
Позвольте мобильному телефону реализовать «анти-подглядывание» и реализовать автоматическую блокировку экрана, распознавая взгляд незнакомых пользователей;
Позвольте мобильным играм получить сверхвысокое разрешение и передать качество изображения, которое было возможно только на ПК, на мобильный телефон, чтобы испытать …
Что еще более важно, Snapdragon 8 может одновременно запускать эти функции AI !
Qualcomm утверждает, что движок AI 7-го поколения Snapdragon 8 имеет прирост производительности до 4 раз по сравнению с предыдущим поколением .
Это означает, что когда мы играем на мобильных телефонах, не проблема «открыть» несколько приложений AI одновременно. Что еще более важно, это не только простое улучшение производительности ИИ, но и удобство работы с приложениями для пользователей.
Сегодня, когда процесс производства оборудования так сложно модернизировать, как Qualcomm «перевернула» так много новых уловок в производительности и применении движка ИИ 7-го поколения?
Мы просмотрели некоторые исследовательские работы и технические документы, опубликованные Qualcomm, и нашли некоторые "подсказки":
В документе об инструменте с открытым исходным кодом AIMET, выпущенном Qualcomm, есть информация о том, «как сжать модель AI со сверхвысоким разрешением»;
В техническом блоге, посвященном теме «Анти-подглядывание», я рассказал, как использовать технологию обнаружения целей с точки зрения защиты конфиденциальности …
Все эти документы и основные доклады конференций, лежащие в основе технических блогов, принадлежат одной организации – Qualcomm AI Research Institute .
Можно сказать, что Qualcomm «спрятала» многие статьи по ИИ, опубликованные исследовательским институтом, в движке ИИ 7-го поколения.
Топ-документ для совещаний "Прячущийся" мобильный ИИ
Давайте посмотрим на улучшение алгоритма камеры AI-движка 7-го поколения .
Стремясь к интеллектуальному распознаванию, Qualcomm в этом году увеличила количество точек распознавания черт лица до 300, что позволяет фиксировать более тонкие изменения выражения лица.
Но заодно Qualcomm увеличила скорость распознавания лиц на 300% . Как ты это делаешь?
В исследовании, опубликованном Qualcomm на CVPR, мы нашли ответ.
В этой статье Qualcomm предложила новый слой свертки под названием Skip-Convolutions (пропустить свертку), который может вычитать два изображения до и после и сворачивать только измененную часть.
Да, как и человеческий глаз, «движущуюся часть» заметить легче.
Это позволяет Snapdragon 8 больше фокусироваться на самом целевом объекте при выполнении алгоритмов обнаружения видеопотока в реальном времени, таких как обнаружение цели и распознавание изображений, с одновременным использованием избыточной вычислительной мощности для повышения точности.
Вы спросите, а какой толк от распознавания лиц с такими деталями для фотографирования?
Кроме того, на этот раз Qualcomm и Leica совместно запустили фильтр Leica Leitz , используя интеллектуальный движок на основе искусственного интеллекта, который включает такие алгоритмы, как распознавание лиц, что позволяет пользователям делать более интеллектуальные фотографии, не задумываясь.
Не только распознавание лиц, но и функции интеллектуальной съемки Qualcomm также включают сверхвысокое разрешение, многокадровое шумоподавление, локальную компенсацию движения …
Однако видеопоток при съемке с высоким разрешением обычно идет в реальном времени.Как движок ИИ разумно обрабатывает такой большой объем данных?
Это также статья CVPR.Компания Qualcomm предложила нейронную сеть, состоящую из нескольких каскадных классификаторов, которые могут изменять количество нейронов, используемых в модели, в зависимости от сложности видеокадра и самостоятельно управлять объемом вычислений.
Столкнувшись с «большим объемом и сложным» процессом интеллектуальной обработки видео, ИИ теперь может его удержать.
Помимо умной фотографии, на этот раз ярким пятном стала голосовая технология Qualcomm .
Как упоминалось в начале, движок ИИ 7-го поколения поддерживает использование мобильных телефонов для ускорения анализа голосовых паттернов пользователей для определения риска таких заболеваний, как астма и депрессия.
Итак, как именно он точно распознает голос пользователя без сбора данных?
В частности, Qualcomm предложила метод федеративного обучения на мобильном телефоне, который может не только использовать модель голосового обучения пользователей мобильных телефонов, но также гарантировать, что конфиденциальность голосовых данных не будет утрачена.
Многие из этих функций AI можно найти в статьях, опубликованных Qualcomm AI Research Institute.
Подсказки, которые также можно найти, – это теоретическая поддержка, о которой ИИ упомянул в начале, для улучшения производительности мобильных телефонов. Здесь следует упомянуть вопрос:
Когда одновременно работает так много моделей ИИ, как Qualcomm может улучшить производительность оборудования?
Здесь мы должны упомянуть количественную оценку ключевого направления исследований Qualcomm за последние годы .
Судя по дорожной карте новейших технологий, выпущенной Qualcomm, количественная оценка моделей всегда была одной из основных технологий, которые Исследовательский институт искусственного интеллекта изучал в течение последних нескольких лет. Цель состоит в том, чтобы «уменьшить» модели искусственного интеллекта.
Из-за ограниченной мощности, вычислительной мощности, памяти и возможностей рассеивания тепла модель ИИ, используемая в мобильных телефонах, сильно отличается от модели ИИ на ПК.
На ПК у графического процессора есть сотни ватт мощности на каждом обороте, и расчет модели AI может использовать 16 или 32-битные числа с плавающей запятой (FP16, FP32). SoC мобильного телефона имеет мощность всего несколько ватт, поэтому хранить большие объемы моделей искусственного интеллекта сложно.
В настоящее время необходимо уменьшить модель FP32 до 8-битного целого числа (INT8) или даже до 4-битного целого числа (INT4), при этом гарантируя, что точность модели не будет слишком большой.
Взяв модель матирования ИИ в качестве примера, мы обычно можем добиться очень точного согласования ИИ с вычислительной мощностью процессора компьютера, но, напротив, если мы хотим использовать мобильный телефон для достижения «почти эффекта» матирования ИИ, мы Придется использовать это для метода количественной оценки модели.
Чтобы позволить установить на мобильные телефоны больше моделей искусственного интеллекта, Qualcomm провела множество количественных исследований. На ведущей конференции были опубликованы статьи, включающие квантование без данных DFQ, механизм округления AdaRound, а также технологию совместного квантования и сокращения байесовских битов ( Байесовские биты).) Подождите.
Среди них DFQ – это технология квантования без данных, которая может сократить время обучения задач искусственного интеллекта и повысить точность квантования. В MobileNet, наиболее распространенной модели визуального искусственного интеллекта на мобильных телефонах, DFQ продемонстрировал лучшую производительность, чем все другие методы:
AdaRound может снизить вес сложных сетей Resnet18 и Resnet 50 до 4 бит, что значительно уменьшает пространство для хранения модели, при этом теряя менее 1% точности:
В качестве новой операции квантования байесовские биты могут не только удвоить битовую ширину, но также квантовать остаточную ошибку между значением полной точности и предыдущим округленным значением при каждой новой битовой ширине, чтобы добиться точности и эффективности. Обеспечьте лучшую торговлю -выкл между.
Эти технологии не только позволяют большему количеству моделей искусственного интеллекта работать на мобильных телефонах с меньшим энергопотреблением , например, игровое сверхвысокое разрешение искусственного интеллекта (аналогично DLSS), которое может работать только на компьютерах, но и теперь оно может работать на Snapdragon 8. ；
Даже некоторые из этих моделей ИИ могут «работать одновременно», например, распознавание жестов и распознавание лиц:
На самом деле диссертация – это только первый шаг.
Если вы хотите быстро применить возможности ИИ к большему количеству приложений, вам также понадобится больше платформ и инструментов с открытым исходным кодом.
Раскройте больше возможностей искусственного интеллекта для приложения
В этом отношении Qualcomm сохраняет непредвзятость.
Методы и модели для эффективного создания приложений искусственного интеллекта в этих документах, Qualcomm AI Research Institute посредством сотрудничества, открытого исходного кода и других методов, поделился ими с большим количеством сообществ разработчиков и партнеров, чтобы мы могли больше узнать о Snapdragon 8. Интересные функции и приложения.
С одной стороны, Qualcomm сотрудничал с Google, чтобы поделиться с разработчиками возможностью быстро разрабатывать больше приложений AI.
Qualcomm оснащена сервисом Google Vertex AI NAS на Snapdragon 8 , который по-прежнему обновляется ежемесячно, а это означает, что приложения AI, разработанные разработчиками на движке AI 7-го поколения, могут быстро обновлять производительность модели.
Используя NAS, разработчики могут автоматически использовать ИИ для создания соответствующих моделей, в том числе алгоритма интеллектуальной камеры, перевода голоса и сверхвысокого разрешения, о которых Qualcomm объявила на верхней встрече. Все они могут быть включены в «диапазон проверки» ИИ и автоматически разработаны. на разработку Подберите лучшую модель.
Здесь используются алгоритмы компенсации движения и кадровой интерполяции Qualcomm. И аналогично этим технологиям AI, разработчики также могут реализовать его через NAS, и он может лучше адаптироваться к Snapdragon 8 без проблемы «неэффективной настройки».
Представьте, что когда вы в будущем будете играть в игры на мобильном телефоне, оснащенном Snapdragon 8, вы почувствуете, что изображение более плавное, но при этом не будет теряться больше энергии (имеется в виду повышенное энергопотребление):
В то же время обслуживание модели ИИ стало проще. По данным Google, по сравнению с другими платформами количество строк кода, необходимых для обучения модели для Vertex AI NAS, можно сократить почти на 80%.
С другой стороны, Qualcomm также открыла исходный код своих собственных инструментов, которые исследовались и количественно оценивались на протяжении многих лет.
В прошлом году Qualcomm открыла исходный код модели инструмента « повышения эффективности» под названием AIMET (AI Model Efficiency Toolkit).
Он включает в себя большое количество алгоритмов сжатия и квантования, таких как отсечение нейронной сети и разложение по сингулярным значениям (SVD), многие из которых являются результатами ведущих статей конференций, опубликованных Qualcomm AI Research Institute. После того, как разработчики используют инструменты AIMET, они могут напрямую использовать эти алгоритмы для улучшения своих моделей искусственного интеллекта и обеспечения их более плавной работы на мобильных телефонах.
Количественные возможности Qualcomm не только открыты для обычных разработчиков, но и позволяют реализовать на Snapdragon 8 больше приложений ИИ ведущих компаний, занимающихся ИИ.
В новом Snapdragon 8 они сотрудничали с Hugging Face, известной компанией в области НЛП, так что умный помощник на телефоне может помочь пользователям анализировать уведомления и рекомендовать, какие из них расставить по приоритетам, чтобы пользователи могли видеть самые важные. уведомления с первого взгляда.
При запуске их модели анализа настроений на движке Qualcomm AI она может достичь в 30 раз быстрее, чем обычная частота процессора .
Именно благодаря техническим исследованиям и открытому подходу к технологиям Qualcomm продолжает обновлять различные «новые мозговые дыры» ИИ в индустрии мобильных телефонов:
От предыдущего видео умное «устранение», умное отключение звука на совещании, экран конфиденциальности в этом году, суперразрешение мобильного телефона …
Существует больше приложений ИИ, реализованных в документах, платформах и инструментах с открытым исходным кодом, все из которых также переносятся в этот движок ИИ.
Исследовательский институт Qualcomm AI, который скрывался за этими исследованиями, снова появился с появлением AI-движка 7-го поколения.
Qualcomm AI "мягкий и жесткий"
В большинстве случаев наше впечатление о Qualcomm AI, похоже, остается на «аппаратной производительности» движка AI.
В конце концов, с тех пор, как в 2007 году был запущен первый проект AI, Qualcomm улучшала возможности обработки для моделей AI с точки зрения производительности оборудования.
Однако исследование Qualcomm алгоритмов искусственного интеллекта также «уже запланировано».
В 2018 году Qualcomm основала Исследовательский институт искусственного интеллекта, возглавляемый Максом Веллингом , известным теоретиком в области искусственного интеллекта , учеником Хинтона, отца глубокого обучения.
Согласно неполным статистическим данным, с тех пор, как Qualcomm основала Исследовательский институт искусственного интеллекта, десятки статей были опубликованы на ведущих научных конференциях по ИИ, таких как NeurIPS, ICLR и CVPR.
Среди них, по крайней мере, 4 модели документов сжатия были реализованы на стороне ИИ мобильных телефонов, и есть много документов, связанных с компьютерным зрением, распознаванием речи и вычислениями конфиденциальности.
Вышеупомянутый движок ИИ 7-го поколения можно назвать лишь микрокосмом результатов исследований Qualcomm в области алгоритмов ИИ за последние годы.
Благодаря результатам исследования Qualcomm AI, Qualcomm также успешно распространила модель искусственного интеллекта на многие сценарии применения передовых технологий.
Что касается автономного вождения , Qualcomm запустила автомобильную цифровую платформу Snapdragon, которая «содержит» универсальное решение – от чипов до алгоритмов искусственного интеллекта. Их решениями было достигнуто 200 миллионов автомобилей.
Среди них система вспомогательного вождения и система автономного вождения BMW нового поколения будут использовать решение Qualcomm для автономного вождения.
На XR Qualcomm выпустила платформу разработки Snapdragon Spaces XR для разработки устройств и приложений, таких как очки AR на голове.
Благодаря сотрудничеству с Wanna Kicks, Snapdragon 8 также привносит возможности AI-движка 7-го поколения в приложение для пробной версии AR.
В этом году Qualcomm выпустила платформу Flight RB5 5G для дронов . Многие из этих функций, такие как предотвращение препятствий на 360 °, фотосъемка с дронов и защита от сотрясений, могут быть реализованы с помощью модели ИИ на платформе. Среди них первый БПЛА, достигший Марса, "Gizwit", оснащен процессорами и соответствующими технологиями, предоставленными Qualcomm.
Оглядываясь назад, нетрудно обнаружить, что на этот раз Qualcomm больше не делает акцент на улучшении аппаратной вычислительной мощности (TOPS) в производительности ИИ, а объединяет программное и аппаратное обеспечение в целом и получает данные о 4-кратном улучшении производительности ИИ. и еще больше усиливает возможности применения ИИ.
Это не только показывает, что Qualcomm уделяет больше внимания реальному опыту пользователей, но и демонстрирует уверенность Qualcomm в надежности собственного программного обеспечения, поскольку оборудование больше не является полным проявлением возможностей AI Qualcomm.
Можно сказать, что обновление ядра AI 7-го поколения Snapdragon 8 знаменует начало интеграции программного и аппаратного обеспечения Qualcomm в области искусственного интеллекта .
Недавно Qualcomm представила несколько новых исследований кодеков, которые были опубликованы на ICCV 2021 и ICLR 2021 соответственно.
В этих документах Qualcomm также использовала алгоритмы искусственного интеллекта, чтобы продемонстрировать новые идеи для оптимизации кодеков.
В исследовании, использующем принцип GAN, последний алгоритм кодека Qualcomm делает изображение не только более четким, но и меньшим на каждый кадр, что можно сделать с помощью всего 14,5 КБ:
Напротив, после сжатия исходного алгоритма кодека до 16,4 КБ на кадр лес станет чрезвычайно размытым:
В другой статье, в которой используется идея интерполяции кадров и нейронного кодека, Qualcomm решила объединить сжатие P-кадров на основе нейронной сети и компенсацию интерполяции кадров и использовать AI для прогнозирования компенсации движения, которая должна выполняться после интерполяции кадров.
После тестирования этот алгоритм лучше, чем предыдущая запись SOTA Google на CVPR 2020, а также лучше, чем текущая производительность сжатия кодека с открытым исходным кодом на основе стандарта H.265.
Это не первая попытка Qualcomm применить модели искусственного интеллекта к большему количеству областей.Применение видеокодеков – новое направление.
Если эти модели могут быть успешно реализованы на платформе или даже в приложении, мы действительно сможем быть свободными при просмотре видео на устройстве.
По мере продолжения программы «мягкой и жесткой интеграции» мы можем фактически увидеть, как эти последние результаты ИИ будут применены к смартфонам в будущем.
Сочетание "демонстрации мускулов" Qualcomm в ПК, автомобилестроении, XR и других областях …
Можно предвидеть, что Qualcomm, с которым вы знакомы, и Snapdragon, с которым вы знакомы, определенно не остановятся на мобильном телефоне, а его возможности AI не ограничатся мобильным телефоном.
# Добро пожаловать, чтобы подписаться на официальный аккаунт Aifaner в WeChat: Aifaner (идентификатор WeChat: ifanr), более интересный контент будет предоставлен вам в ближайшее время.
Ai Faner | Исходная ссылка · Посмотреть комментарии · Sina Weibo