Ноутбук с десятками миллиардов моделей? В AMD нет проблем

На пути к ПК с искусственным интеллектом каждая компания, производящая чипы и оборудование, боится отстать.

В этом соревновании экосистема Apple в настоящее время лидирует с большим отрывом. В оценке Mac Studio на прошлой неделе Ай Фанер успешно развернул и запустил локально количественные версии DeepSeek Q4 671B и 70B, а производительность по пропускной способности токенов была хорошей, демонстрируя мощь чипа M3 Ultra и до 512 ГБ единой памяти.

На стороне лагеря x86 AMD, на данный момент самая конкурентоспособная «команда», пытается ускорить обгон.

На саммите AMD AI PC Innovation Summit, состоявшемся 18 марта, Джек Хьюн, старший вице-президент компании и генеральный менеджер по вычислениям и графике, продемонстрировал возможность запуска больших моделей DeepSeek на ноутбуках на базе AMD.

Согласно демонстрации на месте, ноутбук, оснащенный процессором AMD Ryzen AI Max+ 395, успешно работал с большой моделью DeepSeek-Tongyi Qianwen Fusion 7B. Скорость токена в секунду не разглашается, но, исходя из результатов наблюдений невооруженным глазом и нашего прошлого опыта тестирования на различных моделях, скорость на месте должна составлять не менее 15 ток/с.

Следует отметить, что, согласно демонстрационной зоне на месте, результаты этого развертывания и эксплуатации основаны на программном обеспечении AMD StrixHalo LLM, операционной среде для крупных моделей, разработанной AMD. Насколько мы понимаем, логика заключается в том, что AMD проведет внутреннюю оптимизацию поддерживаемых больших моделей, чтобы значительно снизить стоимость параметра активации токена устройства, а затем внедрит возможности поддержки на локальном устройстве пользователя.

Семейство процессоров Ryzen AI Max также поддерживает более широкие возможности выделения графической памяти. На месте мы увидели, что AI Max поддерживает выделение до 96 ГБ видеопамяти, что позволяет встроенной графике процессора достигать производительности, которая может быть достигнута только с помощью независимых видеокарт высокого класса. Эту производительность можно использовать для обучения ИИ и расчетов вывода, а также в играх.

После оптимизации, каким бы большим ни было количество параметров, беспокоиться не о чем. В примере в демонстрационной области мы видим, что тот же чип, упомянутый выше, может работать с моделью большого языка Llama 3.1 70B, разработанной Meta на ноутбуке ASUS ROG Magic X 2025.

Хотя количество параметров огромно, требования к аппаратному обеспечению в прошлом были чрезвычайно высокими, намного превышая прежний верхний предел когнитивных способностей отрасли для локальных возможностей мобильных вычислительных устройств – ноутбуки теперь могут плавно и легко запускать большие модели с десятками миллиардов параметров.

Целью AMD при этом является обеспечение того, чтобы приложения корпоративного уровня и возможности научных исследований, основанные на больших моделях, могли быть распространены на ноутбуки x86 и даже на более легкие мобильные вычислительные устройства. В настоящее время среда ПК AMD AI поддерживает крупные модели основных моделей, таких как DeepSeek 1.5B и 7B.

Если ноутбука недостаточно, AMD также предоставляет настоящим требовательным пользователям серверное решение, которое может запускать полнопараметрическую большую модель DeepSeek R1, на шаг впереди Nvidia (последняя может обновить свой модульный продукт кластера вычислений искусственного интеллекта рано утром завтра утром).

На месте были продемонстрированы два различных решения. Одно из них — собственное решение AMD, основанное на платформе vllm и использующее 8 видеокарт W7900/78000. DeepSeek 671B может быть развернут полностью автономно и локально для защиты внутренних исследований и разработок компании, а также прав интеллектуальной собственности.

Второе — это решение aiDAPTIV+, совместно разработанное AMD и Phison Electronics. Общая логика заключается в том, чтобы позволить видеокарте расширять свою память с помощью флэш-памяти NAND, тем самым преодолевая узкое место видеопамяти одной карты. С существующими видеокартами AMD все возможности обучения на уровне параметров DeepSeek 671B также могут быть реализованы в автономной форме.

Конечно, большинство людей являются просто пользователями приложений ИИ, а не разработчиками. Поэтому на этом саммите AMD также работала с OEM-партнерами, чтобы продемонстрировать различные основные формы приложений искусственного интеллекта потребительского уровня.

Что очень интересно, так это одна из демонстраций на сайте, которая представляет собой инструмент для создания изображений больших моделей «Dream Painter», разработанный Lucid Heterogeneous и основанный на платформе AMD Ryzen AI. Он поддерживает режимы создания чертежей, рисунков и рисунков и может запускаться локально без необходимости подключения к Интернету.

Другим примером является персональный интеллект «Xiaotian», представленный Lenovo, который служит порталом искусственного интеллекта для ПК. Большая модель, стоящая за ним, может обучаться и оптимизироваться на основе личных данных и обладает возможностями декомпозиции и планирования задач, естественного взаимодействия, долговременной памяти и вызова инструментов на внешней стороне.

В прошлом году технологии искусственного интеллекта развивались чрезвычайно быстро, верхний предел возможностей постоянно увеличивался, а возможности для крупных моделей также увеличивались с каждым днем. Однако индустрия ПК также сталкивается с большими проблемами из-за локальных вычислительных возможностей устройства.

Учитывая, что ее крупнейший конкурент в настоящее время сталкивается с трудностями нетехнического характера, AMD, как еще один ведущий производитель базовых вычислительных технологий в лагере x86, считает, что она должна взять на себя ответственность, решить проблемы и возглавить изменения, чтобы искусственный интеллект действительно мог проникнуть в тысячи домохозяйств и отраслей промышленности через компьютеры с искусственным интеллектом.

На саммите AMD предоставила OEM-партнерам прекрасную возможность заявить о себе. Экологические партнеры, в том числе Microsoft, Lenovo, Asus, Acer, HP и другие, представили новые компьютерные продукты на базе новейшего семейства процессоров AMD Ryzen AI.

Широта выбора марок и моделей ПК с искусственным интеллектом, вычислительные возможности крупных моделей самого продукта ПК с искусственным интеллектом, а также богатство приложений в различных сценариях потребительского уровня особенно важны для брендов ПК и производителей чипов для сохранения своей доли рынка в эпоху искусственного интеллекта.

# Добро пожаловать на официальную общедоступную учетную запись WeChat aifaner: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo