Ежегодная технологическая конференция Arm завершается, вычислительная платформа искусственного интеллекта следующего поколения уже в пути
Сегодня днем в Шэньчжэне успешно завершилась ежегодная технологическая конференция Arm Tech Symposia.
На этой конференции Arm подробно обсудил вычислительные требования ИИ и рассказал, как лучше понять возможности развития ИИ с помощью трех ядер: аппаратного, программного обеспечения и экосистемы. Присутствовавшие участники также обсудили технологические инновации на базе ARM и тенденции развития ИИ.
Джеймс МакНивен, вице-президент по управлению продуктами терминального подразделения Arm, в своей программной речи на конференции в Шэньчжэне подчеркнул, что Armv9, как новейшая техническая архитектура Arm, была разработана для поддержки вычислений искусственного интеллекта на момент ее запуска и продолжает итеративно обновляться. С помощью SVE, SVE2, SME и других ключевых технологий Arm продолжает оптимизировать работу мобильного искусственного интеллекта с помощью архитектурных инноваций и мощных возможностей синергии программного и аппаратного обеспечения, позволяя разработчикам достигать превосходной производительности искусственного интеллекта.
На этой конференции программное обеспечение KleidiAI является одним из самых ярких моментов, заслуживающих внимания.
Он обеспечивает глубокую интеграцию с основными платформами искусственного интеллекта и может предоставить разработчикам удобство разработки при использовании с Arm CSS, KleidiAI интегрирует Neon; 
, SVE2 и SME2 и т. д., позволяющие значительно повысить производительность вычислительных приложений.
Сообщается, что KleidiAI — это набор высокопроизводительных вычислительных ядер, специально разработанных для разработчиков фреймворков искусственного интеллекта.
Это помогает разработчикам легко добиться максимальной производительности процессоров Arm на различных устройствах и воспользоваться преимуществами основных функций ключевых архитектур Arm, таких как Neon, SVE2 и SME2.
Кроме того, KleidiAI также интегрирует популярные платформы искусственного интеллекта, такие как PyTorch, Tensorflow и MediaPipe, оптимизирует производительность таких моделей, как Meta Llama 3 и Phi-3, и использует дизайн с обратной и прямой совместимостью.
Преимущество этого заключается в том, что Arm сможет адаптироваться к будущим потребностям рынка, когда в будущем представит больше технологий.
По имеющимся данным, интеграция KleidiAI значительно повысила эффективность генеративного ИИ.
Данные показывают, что по сравнению с эталонной реализацией (на основе llama.cpp, но без оптимизации программного обеспечения Kleidi) на новом процессоре Arm Cortex-X925 Meta Llama 3 использует llama.cpp (со встроенным KleidiAI) и Microsoft Phi-3. Время первого ответа токена большой языковой модели (LLM) ускорено на 190%.
Еще одним большим преимуществом KleidiAI является простота интеграции.
Сообщается, что команда инженеров Arm завершила тест по оптимизации производительности Llama 3 менее чем за 24 часа.
Кроме того, KleidiAI интегрируется с MediaPipe через XNNPACK, чтобы обеспечить поддержку Gemma LLM с открытым исходным кодом, работающей на мобильных устройствах. Благодаря этому время отклика первого слова Gemma 2B на смартфоне Google Pixel 8 Pro сокращается на 25%.
В то же время Arm также работает с Unity над разработкой конечного механизма вывода искусственного интеллекта — Sentis, который позволяет разработчикам игр создавать новый игровой процесс с искусственным интеллектом на всех устройствах, поддерживающих игровой движок Unity.
Кроме того, являясь самой быстрой вычислительной платформой Arm на сегодняшний день, Arm Terminal CSS добился более чем 30-процентного улучшения вычислительной и графической производительности, чего достаточно для обработки различных ресурсоемких рабочих нагрузок Android.
В то же время CSS терминала Arm также повышает скорость вывода ИИ на 59%, что делает его пригодным для более широкого спектра рабочих нагрузок ИИ/машинного обучения (ML) и вычислительного зрения.
Основное преимущество терминала Arm CSS заключается в том, что он оснащен самым мощным, эффективным и комплексным кластером процессоров Arm на сегодняшний день и стремится достичь наилучшего баланса между производительностью и энергоэффективностью.
Благодаря процессору нового поколения Arm Cortex®-X оптимизированный для искусственного интеллекта терминал Arm CSS обеспечивает самое большое улучшение IPC по сравнению с прошлым годом: производительность нового Arm Immortalis выросла на 36%; Производительность графики графического процессора увеличивается на 37%.
Графический процессор Arm Immortalis-G925 — самый мощный и эффективный графический процессор Arm, обеспечивающий повышение производительности на 37 % в нескольких мобильных игровых приложениях и повышение производительности на 34 % в нескольких сетях искусственного интеллекта и машинного обучения.
Immortalis-G925 в основном ориентирован на рынок флагманских смартфонов.
И включая Арм Мали Новая серия графических процессоров с широкими возможностями масштабирования, включая графические процессоры -G725 и Mali-G625, ориентирована на широкий спектр рынков бытовой электроники: от мобильных телефонов высокого класса до умных часов и носимых устройств XR.
Arm прогнозирует, что к концу 2025 года в мире будет более 100 миллиардов устройств Arm с возможностями искусственного интеллекта.
От датчиков и смартфонов до промышленного Интернета вещей, автомобилей и центров обработки данных, точно так же, как строительство небоскребов требует прочного фундамента, энергичное развитие технологий искусственного интеллекта невозможно отделить от поддержки мощных и эффективных вычислительных платформ.
Благодаря неустанным усилиям в области архитектуры микросхем и технологических инноваций, Arm строит самый надежный фундамент для этого «небоскреба искусственного интеллекта» и будет играть все более важную роль в этих технологических изменениях.
# Добро пожаловать на официальную общедоступную учетную запись WeChat aifaner: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.
Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo