Запускает Stable Diffusion и сквозные большие модели на тонких и легких ноутбуках? Интел говорит, что нет проблем

Независимо от того, пассивный он или активный, такие существительные, как большая модель, AIGC, ChatGPT, Stable Diffusion, MidJourney и т. д. бомбардируются в каждом списке новостей.После сюрпризов, паники, ожиданий и беспокойства в первой половине года, AIGC Евангелие или второе пришествие Скайнета, люди начали смотреть прямо в глаза, понимать его и использовать по назначению.

Конечно, этот раунд волны AIGC в основном происходит в облаке, будь то ChatGPT, Wenxin Yiyan, Tongyi Qianwen и другие приложения с большой языковой моделью, или MidJourney и другие приложения для изображений, созданные ИИ, есть много подобных видео, созданных ИИ. такие приложения, как Runway, должны быть подключены к Интернету, потому что вычисления ИИ выполняются на облачных серверах за тысячи километров.

Ведь, вообще говоря, вычислительная мощность и хранилище, которые может предоставить серверная часть, намного больше, чем у компьютерной части и мобильной части, но ситуация не абсолютна. для сетей, несомненно, еще одна тенденция, и облачный ИИ способен дополнять друг друга.

Не так давно в ежегодном выступлении Xiaomi основатель Xiaomi Лэй Цзюнь сказал, что последняя модель искусственного интеллекта Xiaomi с 1,3 миллиардами параметров была успешно запущена локально на мобильном телефоне, и некоторые сценарии можно сравнить с результатами работы модели с 6 миллиардами параметров. на облаке.

Хотя количество параметров не слишком велико, оно иллюстрирует осуществимость и потенциал большой модели от начала до конца.

На стороне ПК с гораздо большей вычислительной мощностью, есть ли также осуществимость и потенциал приложений AIGC, таких как большие модели, на стороне устройства? 18 августа Intel провела сессию по обмену технологиями, сосредоточив внимание на обмене двумя аспектами информации: обновления производительности Intel Sharp Graphics DX11 и запуск нового инструмента Intel PresentMon Beta, а также на демонстрации прогресса Intel в области AIGC.

Когда в прошлом году были выпущены продукты Intel Sharp для настольных ПК, было обещано, что графические карты Intel Sharp будут продолжать оптимизироваться и обновляться, чтобы обеспечить лучший опыт.

Благодаря выпуску последней версии драйвера Game On, Intel Ruixuan Graphics может добиться увеличения частоты кадров на 19% при запуске серии игр DX11 и в среднем примерно на 20% улучшения частоты кадров 99-го процентиля (по сравнению с первой версией драйвера) . Пользователи, которые ранее приобрели и использовали графическую карту Intel Sharp A750, могут напрямую загрузить последнюю версию драйвера и получить дополнительные возможности в таких играх, как Overwatch 2, DOTA 2 и Apex Legends.

Для пользователей, которые немного сомневаются в выборе видеокарты, видеокарта Ruixuan A750 в диапазоне 1700 юаней также стала вполне конкурентоспособным выбором.

PresentMon Beta — это запущенный Intel инструмент для анализа производительности графики, который предоставляет такие функции, как Overlay (представление оверлея), которое может отображать данные о производительности на экране во время работы игры и помогать игрокам измерять напряжение и температуру графического процессора в режиме реального времени. , и анализировать большой объем информации в режиме реального времени. Также ознакомьтесь с графиком зависимости времени кадра 99-го процентиля от загрузки графического процессора.

Кроме того, в PresentMon Beta появился новый индикатор под названием «GPU Busy». Вот объяснение, чтобы пользователи могли видеть, сколько времени GPU фактически использует для фактического рендеринга вместо ожидания, или находится ли ПК, на котором запущена игра, в балансе CPU и GPU.

Игры — вечная тема ПК, а ИИ — новая тема.

Фактически, основным оборудованием для этого раунда волны AIGC является ПК, будь то ChatGPT, MidJourney или Stable Diffusion и другие приложения, включая Microsoft Office Copilot на основе больших моделей или WPS AI Kingsoft Office. на ПК.

Однако по сравнению с другими устройствами, такими как мобильные телефоны, планшеты и ПК, преимущества ПК заключаются не только в больших экранах и более эффективном интерактивном вводе, но и в производительности чипа.

Прежде чем Intel рассказала об AIGC на ПК, мы заметили, что параллельная работа AIGC на ПК часто использует высокопроизводительные игровые ноутбуки для запуска графики, но тонкие и легкие ноутбуки часто исключаются.

Теперь Intel четко заявила, что тонкий и легкий инстинкт на базе процессоров Intel может работать с большими моделями, а также может работать с большими моделями и Stable Diffusion.

Серверное решение Intel, основанное на OpenVINO PyTorch (набор инструментов с открытым исходным кодом, запущенный Intel для оптимизации производительности вывода моделей глубокого обучения и их развертывания на различных аппаратных платформах), через Pytorch API, модель с открытым исходным кодом сообщества может быть хорошо работает на Клиентские процессоры Intel, интегрированная графика, дискретная графика и специальные механизмы искусственного интеллекта.

Например, модель генерации изображений с открытым исходным кодом Stable Diffusion (в частности, Automatic1111 WebUI) может таким образом запускать модели с точностью FP16 на процессорах и графических процессорах Intel (включая интегрированные графические карты и дискретные графические карты), а пользователи могут создавать текст и изображения. , Такие функции, как генерация изображения и частичное восстановление.

Например, это изображение медового блинчика с разрешением 512×512 можно сгенерировать всего за дюжину секунд на тонком и легком ноутбуке с процессором Intel (только при использовании основного дисплея i7-13700H).

Это в основном связано с прогрессом процессора Core 13-го поколения по количеству ядер, производительности, коэффициенту энергопотребления и производительности графики.В качестве примера для процессора i7-13700H с 14 ядрами и 20 потоками его TDP достиг 45 Вт, а встроенная Графическая карта Intel Iris Xe Graphics (96EU) также не следует недооценивать.

Intel Iris Xe Graphics (96EU), являющийся одним из самых высокопроизводительных основных дисплеев в настоящее время, имеет до 64EU по сравнению с основным дисплеем Iris Plus, базовая спецификация значительно улучшена, производительность с плавающей запятой FP16, FP32 улучшена на целых 84%. , и вычисление целых чисел INT8 также введены возможности, они расширили его возможности графических вычислений AI, и это также основная причина, по которой тонкие и легкие книги Intel могут хорошо поддерживать стабильную диффузию.

В прошлом процессоры Intel с TDP около 45 Вт было трудно вписать в тонкие и легкие ноутбуки, но к Core 13-го поколения появилось большое количество тонких и легких ноутбуков весом около 1,4 кг с 14 ядрами, 20 потоками, процессоры i7-13700H и еще более высокая производительность.Процессор i7-13900H подключается, поэтому запуск Stable Diffusion на ноутбуке для быстрого вывода изображений больше не является эксклюзивным для высокопроизводительных игровых ноутбуков, а тонкие и легкие ноутбуки также смогут сделать эту работу в будущем.

Конечно, сам Stable Diffusion в основном работает локально, и логично, что тонкие и легкие ноутбуки проходят через улучшение и оптимизацию производительности чипа, но локальная конечная большая модель — вещь относительно новая.

Благодаря оптимизации модели потребность модели в аппаратных ресурсах снижается, что повышает скорость логического вывода модели, а Intel позволяет некоторым моделям с открытым исходным кодом сообщества хорошо работать на персональных компьютерах.

Взяв в качестве примера большую языковую модель, Intel использует ускорение процессора Intel Core 13-го поколения XPU, низкоразрядное квантование и другие оптимизации на программном уровне, чтобы позволить большую языковую модель с 16 миллиардами параметров работать на 16 ГБ через фреймворк BigDL-LLM на персональном компьютере с объемом памяти и выше.

Несмотря на то, что существует разрыв на порядок от 175 миллиардов параметров ChatGPT3.5, в конце концов, ChatGPT3.5 работает на сетевом кластере AGI, построенном из 10 000 чипов Nvidia V100. И эта большая модель с 16 миллиардами параметров, прошедших через платформу BigDL-LLM, работает на процессоре Intel Core i7-13700H или i7-13900H, созданном для высокопроизводительных тонких и легких ноутбуков.

Однако здесь также видно, что модель большого языка на стороне ПК также на порядок выше, чем на стороне мобильного телефона.

ПК, которые существуют уже несколько десятилетий, не являются инструментами для запуска больших моделей в облаке.Благодаря аппаратным усовершенствованиям ПК на базе процессоров Intel смогли быстро подключаться к новым моделям и совместимы с моделями Transformers на HuggingFace.Модели, которые были проверено на данный момент, включая, но не ограничиваясь: LLAMA/LLAMA2, ChatGLM/ChatGLM2, MPT, Falcon, MOSS, Baichuan, QWen, Dolly, RedPajama, StarCoder, Whisper и т. д.

На встрече по обмену технологиями Intel продемонстрировала производительность запуска большой модели на базе устройства Core i7-13700H: ChatGLM-6b может обеспечить первую задержку генерации токена 241,7 мс, а средняя скорость генерации последующих токенов составляет 55,63 мс. / жетон. В области обработки естественного языка «лексема» относится к базовой единице в тексте, которая может быть словом, словом, подсловом, знаком препинания или другими наименьшими единицами, которые могут быть обработаны семантически. Как видите, скорость процессора неплохая.

Новость, которая все еще доступна, заключается в том, что процессор Intel Meteor Lake следующего поколения обладает преимуществами уникальной модульной архитектуры для лучшего обслуживания ИИ, включая мультимедийные функции, такие как автоматическое перекадрирование и обнаружение редактирования сцены в Adobe Premiere Pro, а также для достижения более эффективной работы машины. ускорение обучения.

Хотя AIGC является ключевым словом в 2023 году, ИИ не нов, и это также ключевое слово, о котором Intel часто говорила в последние годы.

Ранее AI-шумоподавление видеовызовов, AI-шумоподавление фонового шума видеовызовов и т. д. на самом деле являются приложениями AI.

Видно, что конкурентоспособность будущих процессоров не будет ограничиваться количеством ядер, количеством потоков и основной частотой — одним из факторов, который будет учитывать продукт.

#Добро пожаловать в официальный публичный аккаунт Айфанер в WeChat: Айфанер (идентификатор WeChat: ifanr), в ближайшее время вам будет представлен более интересный контент.

Ай Фанер | Оригинальная ссылка · Просмотреть комментарии · Sina Weibo