Выпущен «самый быстрый в мире» ИИ-чип, бросающий вызов студентам Гарварда
Говоря о таких ключевых словах, как искусственный интеллект, большие модели и вычислительная мощность, если вы хотите упомянуть аппаратные продукты, многие люди, не задумываясь, скажут NVIDIA.
Один аналитик с Уолл-стрит однажды прокомментировал:
Идет война в сфере искусственного интеллекта, а Nvidia — единственный торговец оружием.
Действительно, в эпоху искусственного интеллекта позиция NVIDIA уникальна, и ее трудно поколебать. Но теперь один смельчак готов официально бросить вызов ситуации.
В 2022 году Гэвин Уберти и Крис Чжу основали Etched.ai. С самого начала они получили $5,36 млн в виде начальных инвестиций, включая бывшего генерального директора Ebay Девина Венига.
После объявления о финансировании в размере 120 миллионов долларов США, Etched выпустила самый быстрый на данный момент чип искусственного интеллекта — Sohu.
Этот Sohu — это не тот Sohu, который утверждает, что способен обрабатывать тысячи слов за миллисекунды. Он может обрабатывать более 500 000 токенов в секунду и запускать модель Llama 70B.
Какая концепция? Это эквивалентно написанию Библии за две секунды или написанию 15 триллионов жетонов за год.
Согласно официальному сайту Etched, Sohu интегрирует архитектуру Transformer на аппаратном уровне и является первым специализированным чипом (ASIC), разработанным специально для модели Transformer.
Именно эта специализация приносит Sohu огромное улучшение производительности. По сравнению с NVIDIA H100 скорость вывода Sohu увеличена в 8–10 раз.
Сервер, оснащенный восемью чипами Sohu, может заменить целых 160 графических процессоров NVIDIA H100.
Для сценариев программирования Sohu может параллельно реагировать на сотни результатов с помощью поиска по дереву Монте-Карло, чтобы дать лучший ответ.
Будь то голосовой помощник или интеллектуальная служба поддержки клиентов, Sohu может анализировать тысячи слов за миллисекунды.
А Sohu также поддерживает множественное спекулятивное декодирование, которое может генерировать новый контент в реальном времени на чрезвычайно высоких скоростях.
Будучи первым в мире чипом специализированной интегральной схемы (ASIC) Transformer, каждый чип Sohu имеет только одно ядро, использует 4-нм производственный процесс TSMC и оснащен 144 ГБ памяти HBM3E с высокой пропускной способностью.
По сравнению с графическим процессором Blackwell (B200) следующего поколения от Nvidia, Sohu на порядок быстрее и дешевле.
Всего за два года Etched с нуля выросла до того, чем она является сейчас, и это действительно «чудо».
Основатели Etched Гэвин Уберти и Крис Чжу оба имеют китайское происхождение и имеют богатый опыт.
Гэвин Уберти и Крис Чжу оба учились в Гарвардском университете и некоторое время были студентами. Позже по каким-то причинам они решили взять отпуск на год и нашли стажировку в OctoAI.
В то время работа этих двух людей в основном была связана с разработкой компилятора и микроядра с открытым исходным кодом ApacheTVM. Но во время стажировки они обнаружили, что некоторые конструкции в наборе инструкций Арма были очень неэффективными, что делало их работу очень низкой.
Гэвин Уберти сказал: «Эту проблему невозможно решить. Мне приходится сталкиваться с этой проблемой каждый раз, когда я работаю, и это заставляет нас с Крисом чувствовать, что мы должны добиться большего».
Размышляя о том, как решить эту проблему, они внезапно обнаружили, что могут использовать эту идею для разработки чипа ускорения искусственного интеллекта.
Поэтому они решили бросить Гарвард и основали стартап по производству ИИ-чипов, специализирующийся на LLM — Etched.
По мнению Гэвина Уберти, дизайн общедоступной версии не может привести к революционному повышению производительности, поэтому они разработали специальный чип ускорения на базе архитектуры Transformer.
Гэвин Уберти однажды сказал:
Мы должны приложить большие усилия к единой архитектуре, чтобы чип мог решать задачи искусственного интеллекта. Цель слишком велика, и чип должен быть предназначен для более конкретных задач… Мы думаем, что Nvidia в конечном итоге сделает это.
Текущие основные продукты искусственного интеллекта, такие как ChatGPT, Claude, Gemini и Sora, основаны на архитектуре Transformer.
Будучи первым в мире ASIC-чипом-трансформером, в сочетании с такими выдающимися результатами, Etched, естественно, привлек большое внимание.
25 июня Etched объявила о завершении финансирования серии A на сумму 120 миллионов долларов. Финансирование осуществлялось совместно нью-йоркскими венчурными компаниями Primary Venture Partners и Positive Sum Ventures.
Список инвесторов-ангелов также очень силен, включая венчурного капиталиста Питера Тиля, генерального директора GitHub Томаса Домке, соучредителя компании Cruise, занимающейся беспилотным управлением, Кайла Фогта и соучредителя Quora Чарли Чивера.
Когда Etched была основана в 2022 году, она представляла себе будущее, в котором Transformer будет доминировать. Гэвин Уберти сказал: «Мы делаем самую большую ставку на искусственный интеллект».
Если мы сделаем нашу ставку правильно, Соху изменит мир. Вот почему мы осмеливаемся делать ставки.
# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.
Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo