Qualcomm хочет добавить эти сумасшедшие инструменты искусственного интеллекта в ваш телефон Android

На Mobile World Congress 2024 компания Qualcomm расширяет свой портфель трюков с искусственным интеллектом на телефоне, реализованных с помощью процессоров серии Snapdragon для телефонов Android. Производитель чипов уже продемонстрировал некоторые впечатляющие возможности искусственного интеллекта для флагмана Snapdragon 8 Gen 3 , такие как голосовое редактирование мультимедиа, генерация изображений на устройстве с помощью Stable Diffusion и более умный виртуальный помощник, созданный на основе больших языковых моделей, подобных Meta.

Сегодня компания добавляет еще больше возможностей этим сверхспособностям искусственного интеллекта. Во-первых, это возможность запускать на смартфоне Помощник по большому языку и зрению (LLaVa). Думайте об этом как о чат-боте вроде ChatGPT, которому предоставлены возможности Google Lens . Таким образом, решение Qualcomm может не только принимать ввод текста, но и обрабатывать изображения.

Например, вы можете нажать на изображение мясной доски и задавать на его основе вопросы. Помощник ИИ, основанный на большой мультимодальной модели (LMM), которая может обрабатывать более 7 миллиардов параметров, затем расскажет вам все виды фруктов, сыров, мяса и орехов на доске, изображенной на входном изображении, показанном ниже.

Он также может обрабатывать последующие запросы, поэтому вы можете вести постоянный диалог. Теперь подобные ChatGPT также получили многомодальные возможности, что означает, что инструмент OpenAI также может обрабатывать входные изображения. Однако есть принципиальная разница.

Такие продукты, как ChatGPT и Copilot , по-прежнему сильно привязаны к облачной архитектуре, а это означает, что ваши данные обрабатываются на удаленных серверах. Qualcomm движется в сторону обработки данных на устройстве. Все происходит на вашем телефоне, а это значит, что весь процесс происходит быстрее и риск нарушения конфиденциальности минимален.

«Этот LMM работает с гибкой скоростью передачи токенов на устройстве, что приводит к повышению конфиденциальности, надежности, персонализации и затратам», — говорит Qualcomm. Будет ли обещанный Qualcomm виртуальный помощник на базе LLaVa доступен в виде отдельного приложения или будет платным, пока официально не подтверждено.

Следующее объявление от Qualcomm погружает нас в творческую область создания и манипулирования изображениями. Не так давно компания Qualcomm продемонстрировала самое быстрое в мире преобразование текста в изображение на телефоне с использованием технологии Stable Diffusion. Сегодня компания впервые демонстрирует создание изображений на основе LoRA.

LoRA использует другой подход к созданию изображений, чем обычный инструмент генеративного искусственного интеллекта, такой как Dall.E. LoRA, сокращение от Low-Rank Adaptation, — это метод, разработанный Microsoft . Обучение модели ИИ может быть весьма дорогостоящим, иметь большую задержку и особенно требовательным с точки зрения аппаратного обеспечения.

Что делает LoRA, так это резко уменьшает вес модели. Эта цель достигается за счет сосредоточения внимания только на определенных сегментах модели и уменьшения количества параметров для целей обучения. При этом требования к памяти снижаются, процесс становится быстрее, а количество времени и усилий, необходимых для адаптации модели текста к изображению, также резко снижается.

Со временем метод дистилляции LoRA был применен к модели Stable Diffusion для генерации изображений из текстовых подсказок. Благодаря повышению эффективности и более простой адаптации моделей на базе LoRA, этот вариант рассматривается как специально разработанный маршрут для смартфонов. Qualcomm, безусловно, так думает, и даже конкурент MediaTek применил то же решение для трюков с генеративным искусственным интеллектом на своем флагманском чипе Dimensity 9300 .

Qualcomm также продемонстрирует на MWC 2024 несколько других трюков с искусственным интеллектом, некоторые из которых уже появились на Samsung Galaxy S24 Ultra . Среди них — возможность расширять холст изображения с помощью генеративной заливки AI и генерации видео на основе AI. Последнее весьма амбициозно, особенно после того, как мы увидели, чего OpenAI добился с Sora. Было бы интересно посмотреть, как Qualcomm удастся перенести его на смартфоны.