Потратив на создание 10 миллиардов долларов США, в чем сила самого мощного ИИ-чипа в истории?
За последние два дня мы еще раз рассмотрели выступление Хуан Жэньсюня на GTC 2024. Когда мы провели более глубокий анализ и интерпретацию продукта, мы обнаружили некоторые моменты, которые мы упустили, пока допоздна не ложились спать.
Во-первых, стиль речи Хуана юмористический, естественный и очень коммуникативный. Неудивительно, что он может превратить конференцию по запуску технологического продукта в концерт.
Второй – рассмотреть недавно выпущенную архитектуру Blackwell и серию графических процессоров в сочетании с продуктами предыдущих поколений. Могу только сказать, что ее вычислительная производительность, стоимость и будущая производительность далеко превосходят мое воображение.
Как и в названии NVIDIA, первые две буквы N и V в названии NVIDIA обозначают Next Version «следующее поколение».
Как и GTC в предыдущие годы, Nvidia выпустила следующее поколение продуктов, как и планировалось, с более высокой производительностью и лучшей производительностью; но оно полностью отличается от предыдущего, потому что Blackwell представляет не только продукты следующего поколения, но и следующую эпоху.
Откройте для себя заново самый мощный графический процессор в мире
Представление себя обычно начинается с вашего имени, поэтому давайте начнем с новейшего и самого мощного чипа искусственного интеллекта.
Полное имя Блэквелла — Дэвид Гарольд Блэквелл, американский статистик и один из авторов теоремы Рао-Блэквелла. Что еще более важно, он был первым чернокожим членом Национальной академии наук и первым чернокожим штатным преподавателем Калифорнийского университета в Беркли.
Именно поэтому в системе именования NVIDIA используются имена некоторых известных ученых (или математиков) в истории. стало общепринятым называть микроархитектуры графических процессоров своими именами.
С 2006 года NVIDIA последовательно выпустила архитектуры Теслы, Ферми, Кеплера, Максвелла, Паскаля, Вольты, Тьюринга и Ампера, соответствующие Тесле, Ферми, Кеплеру, Максвеллу, Паскалю, Вольте, Тьюрингу, Амперу и этим академическим лидерам.
Во-первых, он известен, а во-вторых, у него есть материалы.Что касается того, соответствует ли он обозначенному продукту один к одному, на самом деле это не такая уж сильная корреляция.
Здесь необходимо подчеркнуть, что упомянутые выше названные объекты не являются отдельными чипами, а относятся ко всей архитектуре графического процессора (Хуан Жэньсюнь называет ее платформой).
Архитектура чипа относится к базовой конструкции и организационной структуре чипа.Различные архитектуры определяют производительность, энергоэффективность, вычислительную мощность и совместимость чипа, а также влияют на метод выполнения и эффективность приложений.
Проще говоря, теперь у вас есть стадион (сырье для изготовления чипов) и вы планируете полностью его преобразить. Будет ли земля использоваться для проведения концертов или спортивных игр (назначение чипа) определяет планировку площадки. подбор персонала, и оформление.И способ объявления (чип-архитектура).
Таким образом, архитектура и конструкция чипа взаимосвязаны и совместно определяют производительность чипа.
Например, x86 и ARM, о которых часто говорят, — это две основные архитектуры, предназначенные для процессоров. Первая обладает высокой производительностью, а вторая — отличным контролем энергопотребления. У каждой есть свои сильные стороны.
Чипы B200 и B100 на базе архитектуры Blackwell, созданные на базе нескольких поколений технологий NVIDIA, обладают выдающейся производительностью, эффективностью и масштабируемостью, а также открывают новую главу для AIGC.
Но почему ее называют «ядерной бомбой ИИ»? Насколько мощный новый графический процессор? По сравнению с продуктом предыдущего поколения, у нас будет более интуитивное ощущение.
На GTC 2022 Хуан Ренсюнь представил новую архитектуру Hopper и новый чип H100:
1. Он производится по 4-нм техпроцессу TSMC и содержит 80 миллиардов транзисторов, что на целых 26 миллиардов больше, чем в предыдущем поколении A100.
2. Производительность H100 в FP16, TF32 и FP64 в 3 раза выше, чем у A100, что составляет 2000 TFLOPS, 1000 TFLOPS и 60 TFLOPS соответственно. Обучение большой модели с 395 миллиардами параметров занимает всего 1 день. По оригинальным словам Лао Хуана: «20 фотографии могут переносить мировые данные «интернет-трафика».
3. Выпуск H100 увеличил рыночную стоимость NVIDIA до более чем 2 триллионов долларов США, что сделало ее третьей по величине технологической компанией после Microsoft и Apple.
Согласно статистическому анализу компании Omdia, занимающейся отслеживанием рынка, в третьем квартале прошлого года Nvidia продала около 500 000 графических процессоров H100 и A100, а общий вес этих видеокарт составил почти 1000 тонн.
На данный момент Hopper H100 по-прежнему остается самым мощным графическим процессором на рынке с большим отрывом.
Blackwell B200 в очередной раз установил новый рекорд «самого сильного», обеспечив улучшение производительности, намного превосходящее обычные версии продукта.
С точки зрения технологического процесса, графический процессор B200 использует 4-нм техпроцесс TSMC второго поколения с использованием голых пластин с удвоенным предельным размером фотолитографии и подключается через технологию межчипового соединения со скоростью 10 ТБ/с для формирования унифицированного графического процессора с Всего 208 миллиардов транзисторов (один чип равен 104 миллиардам), по сравнению с технологией N4, используемой в Hopper H100, производительность улучшена на 6%. , общая производительность повышается примерно на 250%.
Что касается производительности, механизм Transformer второго поколения позволяет Blackwell поддерживать удвоенные возможности вычислений и расчета размера модели благодаря новому 4-битному искусственному интеллекту с плавающей запятой. Производительность однокристального искусственного интеллекта достигает 20 петафлопс (может выполнять 20 × 10^15 плавающих точек в секунду).Точечная операция), что в 4 раза выше, чем у Hopper H100 предыдущего поколения, а производительность вывода AI в 30 раз выше, чем у предыдущего поколения.
С точки зрения контроля энергопотребления, раньше для обучения модели с 1,8 триллионами параметров требовалось 8000 графических процессоров Hopper и 15 мегаватт энергии.
Поэтому заявление Хуан Ренсюня о том, что «Блэквелл станет самым мощным чипом в мире» — не просто ложь, а стало фактом.
Не дешевый, не простой в использовании
Аналитики финансовой компании Raymond James подсчитали стоимость B200.
Затраты Nvidia на производство каждого H100 составляют около 3320 долларов США, а цена — от 25 000 до 30 000 долларов США. Учитывая разницу в производительности между ними, предполагается, что стоимость B200 будет на 50–60% выше, чем у H100, что составляет около 6000 долларов США.
В эксклюзивном интервью CNBC после пресс-конференции Хуан Ренсюнь сообщил, что цена графического процессора Blackwell составляет от 30 000 до 40 000 долларов США, а исследования и разработки всей новой архитектуры обойдутся примерно в 10 миллиардов долларов США.
Нам пришлось изобрести новую технологию, чтобы сделать это (новую архитектуру) возможным.
Согласно прежнему ритму, Nvidia будет выпускать новое поколение чипов искусственного интеллекта примерно каждые два года.По сравнению с предыдущими поколениями продуктов, последний Blackwell значительно улучшил вычислительную производительность и контроль энергопотребления.Более интуитивно понятным образом он сочетает в себе двухчиповый процессор Blackwell. почти в два раза больше Хупера.
Высокая стоимость связана не только с чипами, но и с проектированием дата-центров и интеграцией с дата-центрами других компаний, поскольку, по мнению Хуан Ренсюня, Nvidia не производит чипы, а строит дата-центры.
Согласно последнему финансовому отчету Nvidia, выручка в четвертом квартале достигла рекордных $22,1 млрд, что на 265% больше, чем в прошлом году. Чистая прибыль в четвертом квартале составила $12,3 млрд, увеличившись на 765% по сравнению с аналогичным периодом прошлого года.
Сегмент центров обработки данных, крупнейший источник дохода, достиг рекордных $18,4 млрд, что на 27% больше, чем в третьем квартале, и на 409% больше, чем за тот же период прошлого года.
Затраты на НИОКР высоки, но и положительная отдача выше.
Дата-центр, который сейчас строит NVIDIA, включает в себя полнофункциональную систему и все программное обеспечение. Это целостная система. Blackwell или GPU — это только одна ее часть.
Центр обработки данных разделен на несколько модулей.Пользователи могут свободно выбирать соответствующие программные и аппаратные услуги в соответствии со своими потребностями.Nvidia настроит сеть, хранилище, платформу управления, безопасность и управление в соответствии с различными требованиями и имеет специальную команду обеспечить технологическую поддержку.
Хорошо ли такое глобальное видение и персонализированные услуги или нет, данные могут рассказать все: по состоянию на 5 марта рыночная стоимость Nvidia превзошла таких гигантов, как Alphabet и Amazon, а также превзошла Saudi Aramco и стала третьей по величине компанией в мире. уступает только двум крупнейшим технологическим гигантам, Microsoft и Apple, совокупная рыночная стоимость которых составляет 2,4 триллиона долларов США.
В настоящее время мировой рынок центров обработки данных составляет около 200 миллиардов евро (приблизительно 787,3 миллиарда юаней), и NVIDIA является его частью. Хуан Ренсюнь прогнозирует, что в будущем этот рынок, вероятно, вырастет до 1-2 триллионов долларов США.
Анализ финансового директора Nvidia Кресса:
Доходы центров обработки данных в четвертом финансовом квартале были в основном связаны с генеративным искусственным интеллектом и связанным с ним обучением. По нашим оценкам, около 40% доходов центров обработки данных за последний год было получено от искусственного интеллекта.
Менее месяца назад Хуан Жэньсюнь также заявил в финансовом отчете:
Ускоренные вычисления и генеративный искусственный интеллект достигли переломного момента: спрос на них растет в компаниях, отраслях и странах по всему миру.
Действительно, кастомизация не является исключительной прерогативой NVIDIA, но в эпоху искусственного интеллекта осталось немного компаний, которые могут предоставлять комплексные услуги, и NVIDIA — одна из них.
Чтобы свиньи взлетели, они должны сначала оказаться на ветру
На стыке виртуальной реальности, высокопроизводительных вычислений и искусственного интеллекта графические процессоры даже заменяют центральные процессоры в качестве мозга компьютеров с искусственным интеллектом.
Основная причина, по которой генеративный ИИ вызвал бурные дискуссии в различных отраслях, заключается в том, что он начинает работать и учиться как «человек»: от общения в чате, написания копирайтинга, рисования изображений, создания видеороликов до анализа условий, исследований и подведения итогов… все из них впечатляющие. Для подтверждения поразительных результатов требуется астрономическое количество выборочных данных.
Например, если вы можете запомнить имя «Ай Фаньэр», это может быть потому, что информация, которую каждый день передает общедоступная учетная запись, укрепила вашу память, повторяя ее; это также может быть потому, что вы никогда не видели комбинацию « Ai» и «Fan'er» раньше, что является новым. Его смысл оставляет на вас глубокое впечатление; или, может быть, оранжевый логотип оставляет в вашем сознании уникальный визуальный символ.
Каждая простая маленькая деталь закрепляет в вашем сознании образ «Фанера», но когда информация национальных технологических СМИ смешивается, требуется больше символов, чтобы углубить впечатление и избежать путаницы.
Глубокое обучение ИИ, вероятно, следует этой логике, и графический процессор — лучший выбор для обработки огромных объемов информации.
С тех пор, как OpenAI положил начало AIGC, большинство известных компаний начали быстро выставлять на полки свои собственные большие и маленькие модели.
Графические процессоры стали объектом глобальной конкуренции, казалось бы, в мгновение ока.Согласно статистике компании по отслеживанию рынка Omdia, Tencent, Alibaba, Baidu, ByteDance, Tesla, Meta и Microsoft приобрели по 150 000 единиц H100 GPU (самый мощный чип прошлого года).
Технические принципы и контекст времени совместно способствовали взрывному росту графических процессоров и создали «империю видеокарт», принадлежащую Nvidia. Согласно статистике Wells Fargo, Nvidia в настоящее время занимает 98% рынка искусственного интеллекта для центров обработки данных.
Стоя на ветру, даже свинья может летать.
Но когда доля компании в отрасли приближается к 100%, за этим должна быть причина, столь же важная, как и то, что она находится на переднем крае.
В 1999 году NVIDIA взяла на себя инициативу, предложив концепцию графического процессора, и запустила CUDA в 2006 году. Это был важный технологический поворотный момент в истории развития NVIDIA. Он снизил порог применения графического процессора. Разработчики могут использовать C/C++ и другие Языки для создания программ на базе графического процессора При написании программ графический процессор отошел от единственной цели обработки изображений, и в мир видеокарт вошли высокопроизводительные вычисления.
Победа AlphaGo в 2016 году, рост биткойнов в 2017 году и бум майнинга в этот период мы делаем ставку на рынок беспилотного вождения. семена, которые он посадил много лет назад.
Рынок сбыта важен, но перспективная структура рынка, диверсифицированные области применения, масштабные инвестиции и инновации, любое неуместное звено не создадут текущий рыночный миф о близких к идеальным показателям.
Однако для Nvidia наиболее важным вопросом является то, как сохранить лидирующие позиции на перепутье времен.
Blackwell является ключевым шагом в консолидации результатов: прежде чем многие производители получили заказанный H100, сборочные линии B200 и B100 уже были запущены.
В своей речи Хуан Жэньсюнь повторил мысль, которую он высказал в предыдущих финансовых отчетах, о том, что «вычисления общего назначения достигли узкого места».
Итак, теперь нам нужны более крупные модели, нам нужны более крупные графические процессоры, и нам нужно объединять графические процессоры вместе.
Речь идет не о сокращении издержек, а об увеличении масштабов.
В этом есть некоторая скромность, но, конечно, на рынке есть и огромный спрос.
В настоящее время крупнейшая модель OpenAI уже имеет 1,8T (триллионы) параметров и должна обрабатывать миллиарды токенов (строк).
Хоппер — это здорово, но нам нужен более мощный графический процессор.
В последние несколько дней первая волна дискуссий, вызванная GTC 2024, постепенно утихла. ; трудно предсказать, сколько сюрпризов и изменений принесет миру «переломный момент, которого достиг генеративный ИИ»?
В момент взрыва AIGC и накануне прихода AGI вереница фейерверков AI, запущенная Nvidia, взорвалась лишь впервые.
# Добро пожаловать на официальную общедоступную учетную запись aifaner в WeChat: aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.
Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo