Nvidia и Microsoft решают большую проблему с Copilot+

Когда несколько недель назад Microsoft анонсировала ПК Copilot+ , главным был один вопрос : почему я не могу просто запускать эти приложения искусственного интеллекта на своем графическом процессоре? На Computex 2024 Nvidia наконец дала ответ.

Nvidia и Microsoft вместе работают над интерфейсом прикладного программирования (API), который позволит разработчикам запускать свои приложения с искусственным интеллектом на видеокартах RTX. Сюда входят различные модели малого языка (SLM), являющиеся частью среды выполнения Copilot, которые используются в качестве основы для таких функций, как Recall и Live Captions.

С помощью набора инструментов разработчики могут разрешить приложениям запускаться локально на вашем графическом процессоре, а не на NPU. Это открывает двери не только для более мощных приложений искусственного интеллекта, поскольку возможности искусственного интеллекта графических процессоров обычно выше, чем у NPU, но и возможность запуска на ПК, которые в настоящее время не подпадают под зонтик Copilot+.

Это отличный ход. Для компьютеров Copilot+ в настоящее время требуется блок нейронных процессоров (NPU), способный выполнять не менее 40 тера операций в секунду (TOPS). На данный момент только Snapdragon X Elite удовлетворяет этим критериям. Несмотря на это, графические процессоры обладают гораздо более высокими возможностями обработки искусственного интеллекта: даже модели начального уровня достигают 100 TOPS, а варианты более высокого уровня масштабируются еще выше.

Помимо работы на графическом процессоре, новый API добавляет возможности генерации с расширенным поиском (RAG) в среду выполнения Copilot. RAG предоставляет модели ИИ локальный доступ к конкретной информации, что позволяет ей предлагать более полезные решения. Мы видели RAG в полной мере в чате Nvidia с RTX ранее в этом году.

Помимо API, Nvidia анонсировала набор инструментов RTX AI Toolkit на выставке Computex. Этот пакет для разработчиков, который появится в июне, объединяет различные инструменты и SDK, которые позволяют разработчикам настраивать модели искусственного интеллекта для конкретных приложений. Nvidia заявляет, что с помощью RTX AI Toolkit разработчики могут создавать модели в четыре раза быстрее и в три раза меньше по сравнению с использованием решений с открытым исходным кодом.

Мы наблюдаем волну инструментов, которые позволяют разработчикам создавать конкретные приложения искусственного интеллекта для конечных пользователей. Кое-что из этого уже реализовано на ПК Copilot+, но я подозреваю, что в следующем году мы увидим гораздо больше приложений ИИ. В конце концов, у нас есть оборудование для запуска этих приложений; теперь нам просто нужно программное обеспечение.