Microsoft объясняет, как тысячи графических процессоров Nvidia построили ChatGPT
ChatGPT приобрел вирусную известность за последние шесть месяцев, но это не произошло из ниоткуда. Согласно сообщению в блоге, опубликованному Microsoft в понедельник, OpenAI, компания, стоящая за ChatGPT, обратилась к Microsoft с просьбой построить инфраструктуру ИИ на тысячах графических процессоров Nvidia более пяти лет назад.
В последнее время партнерство OpenAI и Microsoft привлекло к себе много внимания, особенно после того, как Microsoft вложила 10 миллиардов долларов в исследовательскую группу, стоящую за такими инструментами, как ChatGPT и DALL-E 2 . Однако, по словам Microsoft, партнерство началось давно. С тех пор Bloomberg сообщает , что Microsoft потратила «несколько сотен миллионов долларов» на разработку инфраструктуры для поддержки ChatGPT и таких проектов, как Bing Chat .
Большая часть этих денег пошла на Nvidia, которая сейчас находится в авангарде вычислительного оборудования, необходимого для обучения моделей ИИ. Вместо игровых графических процессоров, которые вы найдете в списке лучших видеокарт , Microsoft выбрала графические процессоры Nvidia корпоративного уровня, такие как A100 и H100.
Однако это не так просто, как собрать видеокарты и обучить языковую модель. Как объясняет Нидхи Чаппелл, руководитель Microsoft по продуктам для Azure: «Это не то, что вы просто покупаете целую кучу графических процессоров, соединяете их вместе, и они начинают работать вместе. Для достижения наилучшей производительности требуется много оптимизаций на уровне системы, и это достигается благодаря большому опыту многих поколений».
Создав инфраструктуру, Microsoft теперь открывает свое оборудование для других. В понедельник компания объявила в отдельном сообщении в блоге , что будет предлагать системы Nvidia H100 «по запросу в размерах от восьми до тысяч графических процессоров Nvidia H100», поставляемых через сеть Microsoft Azure.
Популярность ChatGPT взлетела до небес Nvidia , которая в течение нескольких лет инвестировала в искусственный интеллект с помощью аппаратного и программного обеспечения. AMD, главный конкурент Nvidia в области игровых видеокарт, пытается продвинуться в этом направлении с помощью таких ускорителей, как Instinct MI300.
По словам Грега Брокмана, президента и соучредителя OpenAI, обучение ChatGPT было бы невозможно без мощностей, предоставляемых Microsoft: возможна работа по выравниванию в таких системах, как ChatGPT».
Ожидается, что Nvidia расскажет больше о будущих продуктах искусственного интеллекта во время конференции по технологиям графических процессоров (GTC). с основной презентации, которая начнется 21 марта. Microsoft расширяет свою дорожную карту ИИ в конце этой недели, и презентация, посвященная будущему ИИ на рабочем месте, запланирована на 16 марта.