Используете модели Stable Diffusion и сквозные большие модели на тонких и легких ноутбуках? Intel говорит, что нет проблем

Независимо от того, пассивный или активный, такие существительные, как big model, AIGC, ChatGPT, Stable Diffusion, MidJourney и т. д., засыпаны в списках новостей каждого. После сюрпризов, паники, ожиданий и беспокойств в первой половине года AIGC не является больше не чудо.Евангелие или Второе пришествие Скайнета, люди начали смотреть в лицо этому, понимать его и использовать его соответствующим образом.

Конечно, этот раунд волны AIGC в основном происходит в облаке, будь то ChatGPT, Wenxin Yiyan, Tongyi Qianwen и другие приложения с большими языковыми моделями, или MidJourney и другие приложения для изображений, сгенерированные AI, есть много подобных видео, сгенерированных AI. такие приложения, как Runway, должны быть подключены к Интернету, поскольку расчеты ИИ происходят на облачных серверах, находящихся за тысячи миль от нас.

В конце концов, вообще говоря, вычислительная мощность и объем памяти, которые может предоставить серверная часть, намного больше, чем у компьютерной и мобильной стороны, но ситуация не абсолютна.Конечный ИИ с быстрым откликом и без необходимости для сетей, несомненно, это еще одна тенденция, и облачный ИИ способен дополнять друг друга.

Не так давно в ежегодном выступлении Xiaomi основатель Xiaomi Лэй Цзюнь сказал, что последняя модель искусственного интеллекта Xiaomi с 1,3 миллиардами параметров была успешно запущена локально на мобильном телефоне, и некоторые сценарии можно сравнить с результатами запуска модели с 6 миллиардами параметров. на облаке.

Хотя количество параметров не слишком велико, оно иллюстрирует осуществимость и потенциал комплексной большой модели.

Что касается ПК с гораздо большей вычислительной мощностью, есть ли возможность и потенциал приложений AIGC, таких как большие модели, на стороне устройства? 18 августа компания Intel провела сессию по обмену технологиями, сосредоточив внимание на двух аспектах информации: обновлениях производительности Intel Sharp Graphics DX11 и запуске нового бета-инструмента Intel PresentMon, а также на демонстрации прогресса Intel в области AIGC.

Когда в прошлом году были выпущены продукты Intel Sharp для настольных ПК, было обещано, что видеокарты Intel Sharp будут продолжать оптимизироваться и обновляться, чтобы обеспечить лучшее качество работы.

Благодаря выпуску последней версии драйвера Game On графика Intel Ruixuan может добиться увеличения частоты кадров на 19 % при запуске серии игр DX11 и в среднем примерно на 20 % улучшения плавности кадров в 99-м процентиле (по сравнению с первой версией драйвера). . Пользователи, которые ранее приобрели и использовали видеокарту Intel Sharp A750, могут напрямую загрузить последнюю версию драйвера и получить улучшения в таких играх, как Overwatch 2, DOTA 2 и Apex Legends.

Для пользователей, которые немного колеблются в выборе видеокарты, видеокарта Ruixuan A750 стоимостью 1700 юаней также стала вполне конкурентоспособным выбором.

PresentMon Beta — это инструмент анализа производительности графики, выпущенный Intel. Он предоставляет такие функции, как Overlay (просмотр наложения), который может отображать данные о производительности на экране во время игры и помогать игрокам телеметрически измерять напряжение и температуру графического процессора в режиме реального времени. и анализировать большие объемы информации в режиме реального времени. Также ознакомьтесь с графиком зависимости времени кадра 99-го процентиля от загрузки графического процессора.

Кроме того, в бета-версии PresentMon появился новый индикатор «GPU Busy». Вот объяснение, чтобы пользователи могли видеть, сколько времени графический процессор фактически использует для фактического рендеринга, а не для ожидания, или находится ли компьютер, на котором запущена игра, в балансе процессора и графического процессора.

Игры — вечная тема ПК, а ИИ — новая тема.

Фактически, основным оборудованием для этого раунда волны AIGC является ПК, будь то ChatGPT, MidJourney или Stable Diffusion и другие приложения, включая Microsoft Office Copilot на базе больших моделей или WPS AI от Kingsoft Office. на ПК.

Однако по сравнению с другими устройствами, такими как мобильные телефоны, планшеты и ПК, преимущества ПК заключаются не только в больших экранах и более эффективном интерактивном вводе, но и в производительности чипа.

Прежде чем Intel рассказала об AIGC на ПК, мы заметили, что при параллельной работе AIGC на ПК часто используются высокопроизводительные игровые ноутбуки для работы с графикой, но тонкие и легкие ноутбуки часто исключаются.

Теперь Intel четко заявила, что тонкий и легкий инстинкт на базе процессоров Intel может работать с большими моделями, а также может работать с большими моделями и Stable Diffusion.

Серверное решение Intel на основе OpenVINO PyTorch (набор инструментов с открытым исходным кодом, запущенный Intel для оптимизации производительности вывода моделей глубокого обучения и их развертывания на различных аппаратных платформах) через API Pytorch позволяет хорошо использовать модель с открытым исходным кодом сообщества. Клиентские процессоры Intel, встроенная и дискретная графика, а также специализированные механизмы искусственного интеллекта.

Например, модель генерации изображений с открытым исходным кодом Stable Diffusion (в частности, Automatic1111 WebUI) может таким образом запускать модели с точностью FP16 на процессорах и графических процессорах Intel (включая интегрированные и дискретные видеокарты), а пользователи могут генерировать текст и изображения. , Такие функции, как создание изображения и частичное восстановление.

Например, это изображение медовых блинов с разрешением 512×512 можно создать всего за дюжину секунд на тонком и легком ноутбуке с процессором Intel (только с использованием основного дисплея i7-13700H).

В основном это связано с прогрессом процессора Core 13-го поколения по количеству ядер, производительности, соотношению энергопотребления и графической производительности.На примере процессора i7-13700H с 14 ядрами и 20 потоками его TDP достиг 45 Вт, а Интегрированная видеокарта Intel Iris Xe Graphics (96EU) также не следует недооценивать.

В настоящее время Intel Iris Xe Graphics (96EU) является одним из самых высоких технических характеристик основного дисплея по сравнению с основным дисплеем Iris Plus, базовая спецификация значительно улучшена, производительность с плавающей запятой FP16, FP32 улучшена на целых 84%. , а также целочисленное вычисление INT8. Способность расширила возможности графических вычислений искусственного интеллекта, а также является основной причиной того, почему тонкие и легкие книги Intel могут хорошо поддерживать Stable Diffusion.

Раньше процессоры Intel с TDP около 45 Вт было трудно разместить в тонких и легких ноутбуках, но к появлению Core 13-го поколения появилось большое количество тонких и легких ноутбуков весом около 1,4 кг с 14 ядрами, 20 потоками, Процессоры i7-13700H и еще более высокая производительность Процессор i7-13900H подключается к сети, поэтому запуск Stable Diffusion на ноутбуке для быстрого вывода изображений больше не является эксклюзивной функцией высокопроизводительных игровых ноутбуков, а тонкие и легкие ноутбуки также смогут сделать эту работу в будущем.

Конечно, сама Stable Diffusion в основном работает локально, и для тонких и легких ноутбуков логично проводить улучшение и оптимизацию производительности чипов, но локальная большая модель на конечной стороне — относительно новая вещь.

За счет оптимизации модели снижается потребность модели в аппаратных ресурсах, что повышает скорость вывода модели, а Intel позволяет некоторым моделям с открытым исходным кодом, созданным сообществом, хорошо работать на персональных компьютерах.

Взяв в качестве примера большую языковую модель, Intel использует ускорение процессора Intel Core 13-го поколения XPU, низкоразрядное квантование и другие оптимизации на уровне программного обеспечения, чтобы позволить большой языковой модели, содержащей до 16 миллиардов параметров, работать на 16 ГБ памяти. фреймворк BigDL-LLM на персональном компьютере с объемом памяти и выше.

Хотя от 175 миллиардов параметров ChatGPT3.5 существует отставание на порядок, в конце концов ChatGPT3.5 работает на сетевом кластере AGI, построенном на 10 000 чипах Nvidia V100. И эта большая модель с 16 миллиардами параметров, обрабатываемых с помощью платформы BigDL-LLM, работает на таком процессоре, как Intel Core i7-13700H или i7-13900H, который создан для высокопроизводительных тонких и легких ноутбуков.

Однако здесь также можно увидеть, что большая языковая модель на стороне ПК также на порядок выше, чем на стороне мобильного телефона.

ПК, существующие уже несколько десятилетий, не являются инструментами для запуска больших моделей в облаке.Благодаря усовершенствованиям аппаратного обеспечения ПК, поддерживаемые процессорами Intel, могут быстро подключаться к новым моделям и совместимы с моделями Transformers на HuggingFace. проверенные на данный момент включают, помимо прочего: LLAMA/LLAMA2, ChatGLM/ChatGLM2, MPT, Falcon, MOSS, Baichuan, QWen, Dolly, RedPajama, StarCoder, Whisper и т. д.

На встрече по обмену технологиями Intel продемонстрировала производительность работы большой модели на базе устройства Core i7-13700H: ChatGLM-6b может достичь первой задержки генерации первого токена 241,7 мс, а средняя скорость генерации последующих токенов составляет 55,63 мс. /токен. В области обработки естественного языка «токен» относится к основной единице текста, которая может быть словом, словом, подсловом, знаком препинания или другими наименьшими единицами, которые можно обрабатывать семантически. Как видите, скорость процессора довольно хорошая.

Новости, которые все еще доступны, заключаются в том, что процессор Intel следующего поколения Meteor Lake обладает преимуществами уникальной архитектуры разделенных модулей для лучшего обслуживания искусственного интеллекта, включая мультимедийные функции, такие как автоматическое перекадрирование и обнаружение редактирования сцен в Adobe Premiere Pro, а также обеспечивает более эффективную работу машины. ускорение обучения.

Хотя AIGC является ключевым словом в 2023 году, ИИ не нов, и это также ключевое слово, о котором Intel часто говорит в последние годы.

Ранее шумоподавление при видеовызовах с использованием ИИ, снижение фонового шума при видеовызовах с помощью ИИ и т. д. на самом деле являлись приложениями ИИ.

Видно, что конкурентоспособность будущих процессоров не будет ограничиваться количеством ядер, количеством потоков и основной частотой — одним из факторов, которые будет учитывать продукт.

#Добро пожаловать в официальный публичный аккаунт Айфанер в WeChat: Айфанер (идентификатор WeChat: ifanr), в ближайшее время вам будет представлен более интересный контент.

Ай Фанер | Оригинальная ссылка · Просмотреть комментарии · Sina Weibo