Диалог с Лю Чжиюанем, главным научным сотрудником отдела настенного интеллекта: у больших моделей будет новый «закон Мура», а умные терминалы в эпоху искусственного интеллекта не обязательно будут мобильными телефонами

С прошлого года китайская индустрия искусственного интеллекта начала «Битву сотен моделей», в которой почти все крупные модельные компании стремятся догнать GPT-4. Есть также одна компания, которая кажется немного неуместной, и это компания, занимающаяся разведкой, ориентированной на стену, которая фокусируется на конечных моделях.

Сквозные разведданные привлекли внимание общественности из-за недавнего инцидента с плагиатом, совершенного исследовательской группой Стэнфордского университета в области искусственного интеллекта. Лю Чжиюань, главный научный сотрудник Wall-Facing Intelligence, написал тогда, что этот инцидент доказал международное влияние инноваций Китая с другой точки зрения.

На недавней Всемирной конференции по искусственному интеллекту Face Wall представила эффективную модель разреженной активации MiniCPM-S, которая может потреблять меньше энергии и обеспечивать более высокую скорость мышления.

Wall-facing Intelligence также публично заявила, что сможет достичь конечной модели уровня GPT-4 к концу 2026 года .

Если GPT-4 и торцевую модель объединить, это эквивалентно Ван Чжа.

В этом году многие нативные аппаратные средства искусственного интеллекта были поставлены под сомнение, а мобильные телефоны с искусственным интеллектом и компьютеры с искусственным интеллектом чрезвычайно популярны, но они мало влияют на решения потребителей о покупке. В значительной степени они ограничены возможностями крупных конечных сторон. модели и наиболее сложные функции требуют использования облака.

В бурном обсуждении крупных моделей настенная интеллектуальная сквозная «маленькая стальная пушка» MiniCPM является несколько недооцененной моделью. Модель MiniCPM 2.4B, выпущенная в феврале 2024 года, действительно может превзойти Llama2-13b.

Лю Чжиюань, главный научный сотрудник Wall-Facing Intelligence, считает, что в эпоху больших моделей будет свой собственный закон Мура. Ключевым словом для первого принципа эффективных больших моделей в будущем должна стать плотность знаний.

Во время WAIC 2024 APPSO беседовал с Лю Чжиюанем, рассказывая о влиянии конечных моделей на будущие формы интеллектуальных терминалов, о том, как открыть закон Мура для больших моделей и о том, как идеалист, вышедший из башни из слоновой кости, может добиться успеха в цель делового мира близка к AGI.

Ниже приводится стенограмма разговора Лю Чжиюаня и APPSO:

Закон Мура в эпоху больших моделей

АППСО: Когда все сравнивают OpenAI для создания больших общих моделей, почему Wallface Intelligence решила сосредоточиться на конечных моделях? Есть ли какие-то внутренние разногласия?

Лю Чжиюань: На самом деле, мы уже выпустили модель стоимостью 100 миллиардов долларов в середине прошлого года, раньше, чем многие крупные отечественные модельные компании. Но перед нами стоит выбор: соответствовать ли модельному процессу уровню ее плотности знаний. В то время в отрасли было принято решение о выпуске более крупных моделей и попытке достичь GPT-4.

Для предпринимателя вполне естественно ставить себя на место другого, поэтому мы также провели серьезные внутренние дискуссии о том, следует ли нам расширять эту модель. Затем купите больше вычислительной мощности и потратьте несколько месяцев на создание этой модели.

АППСО: Почему ты в конце концов этого не сделал?

Лю Чжиюань: Мы считаем, что в первую очередь нам необходимо улучшить процесс производства моделей. Мы строим модельные аэродинамические трубы со второй половины прошлого года, чтобы сделать обучение моделей предсказуемым. Другими словами, до обучения модели можно предсказать, сможет ли обучение с этими данными достичь ожидаемого уровня.

Поэтому мы не стали дальше накатывать GPT-4. Мы прогнозируем, что если мы будем усердно работать над увеличением вычислительной мощности, данных и масштаба параметров модели, к июню этого года будет выпущена модель уровня GPT-4. Это то, чего могут достичь все крупные отечественные модельные компании первого уровня. .

Если каждый может это сделать, и мы тоже можем, в чем наше конкурентное преимущество? Поэтому мы решили сначала начать с приложений уровня GPT-3.5, а затем перейти к постепенному процессу.

АППСО: Процесс прокатки чем-то напоминает идею производства чипов.

Лю Чжиюань: Фактически, этот процесс представляет собой плотность знаний. Мы решили использовать относительно небольшую модель, а затем проверить возможности нашего процесса. Поэтому в то время мы решили построить модель на стороне устройства. К началу этого года мы создали модель 2.4B.

На самом деле, прежде чем это сделать, мы подумали, что раз уж мы собираемся сделать такую ​​маленькую модель, то надо заставить ее работать на мобильном телефоне. Конечно, я не ожидал сказать, что мы должны создать конечный интеллект для мобильных телефонов. Оказывается, что конечная модель, которую мы создали с использованием технологии аэродинамической трубы, может достигать уровня GPT-3 в 175 миллиардов параметров с параметрами 2,4B и может сравнивать эффекты Mistral 7B и llama 2 13B.

АППСО: Вы много раз упоминали плотность знаний и производственный процесс. Есть ли у нас определенный стандарт?

Лю Чжиюань: Например, если я дам вам 100 вопросов теста IQ, сколько баллов вы сможете получить? Сколько это будет стоить вычислительной мощности? Когда вы отвечаете на эти 100 тестовых вопросов, сколько нейронов вы участвуете в расчетах? Чем меньше нейронов вы задействуете в вычислениях, тем выше ваш IQ, потому что вы можете выполнить эти задачи с меньшим количеством нейронов. Это основная концепция плотности знаний .

Он состоит из двух элементов. Один элемент — это способность этой модели. Второй элемент — это количество нейронов, необходимое для этой способности, или соответствующее потребление вычислительной мощности.

Примечание редактора: Лю Чжиюань предположил, что плотность знаний модели (плотность знаний = возможности модели/потребление вычислительной мощности для вывода) будет удваиваться в среднем каждые восемь месяцев.

АППСО: На какой стадии, по вашему мнению, находится общий искусственный интеллект, представленный нынешней большой моделью?

Лю Чжиюань: Мы живем в период Тихона в физике. Тихо собрал большое количество данных о движении небесных тел, но реальных законов движения этих небесных тел он так и не нашел. Лишь позже появились законы Кеплера, а еще позже появился закон всемирного тяготения Ньютона.

Если мы сможем найти закон всемирного тяготения, применимый к разработке больших моделей, то мы сможем использовать этот закон для создания лучшей в мире литографической машины .

АППСО: OpenAI тоже этим занимается?

Лю Чжиюань: OpenAI определенно делает это, потому что несколько лет назад она фактически предложила стек глубокого обучения с предсказуемым масштабированием. Фактически, это похоже на концепцию модели аэродинамической трубы. Сейчас это должно быть консенсусом многих людей. Просто OpenAI не был открыт с прошлого года. Большинство людей на самом деле знают только закон масштабирования, о котором они упоминали ранее, и не знают более важных вещей, которые он на самом деле делает позже. .

АППСО: Вы хотите искать вещи более низкого уровня, а не думать о том, как быстро принести коммерческую ценность в данный момент.

Лю Чжиюань : Научное обоснование больших моделей должно стать предпосылкой для настоящей коммерциализации в будущем . Сегодня, когда все гоняются за большими моделями и AGI, у них есть два варианта.

Один из вариантов заключается в том, что вы используете тот же процесс или даже худший процесс, а затем обучаете очень большую модель, все более и более крупные модели, а затем достигаете уровня GPT-4, но имеет ли это смысл?

Мы чувствовали, что этот вопрос ненадежен со второй половины прошлого года. Потому что, если ваш производственный процесс недостаточно силен, у вас фактически нет никакой конкурентоспособности. Разрыв между нами и OpenAI кроется не в масштабе параметров модели, а в процессе изготовления.

Так что на самом деле вы обнаружите, что в первой половине этого года все начали повышать цену на этот API. Этот вопрос не имеет большого значения, но он лишает всех возможности зарабатывать деньги.

Представьте, что вы тратите десятки миллионов на обучение огромной модели, а затем предоставляете API этой модели. 1 миллион токенов может стоить всего несколько центов. Даже если в месяц будут использоваться десятки миллиардов, соответствующий доход покроет расходы. расходы. . Вам не кажется, что это очень безнадежная модель? Это даже более безумно, чем тогдашняя Война Сотни Полков.

Умные терминалы в эпоху AGI

ПРИЛОЖЕНИЕ: Недавно вы также стали первым крупномасштабным клиентским партнером Huawei Cloud. Это направление вашей будущей коммерциализации?

Лю Чжиюань: В ближайшие 2–3 года мы будем сотрудничать с большим количеством производителей. Я думаю, что в будущем появятся интеллектуальные терминалы эпохи AGI, которые, возможно, не будут мобильными телефонами или автомобилями.

АППСО: Какова ваша идеальная форма терминала в эпоху ОИИ?

Лю Чжиюань: Нынешняя форма мобильных телефонов на самом деле представляет собой метод мультитач-взаимодействия, представленный Apple тогда. Но если в будущем ИИ станет достаточно умным, понадобится ли нам взаимодействие с помощью щелчка и касания? В будущем должен появиться метод взаимодействия на естественном языке, принадлежащий AGI, который больше соответствует нашим человеческим характеристикам. Говорят даже, что однажды, когда интерфейс мозг-компьютер будет подключен, мне даже не придется говорить. Поэтому интеллектуальный терминал, принадлежащий AGI, может не быть мобильным телефоном, или мобильный телефон в какой-то момент изменит свою форму. точка.

А если у нас есть более естественный способ взаимодействия, зачем нам приложение ? Если крупные производители мобильных телефонов, такие как Apple, не будут работать в этом направлении, то это обязательно сделает кто-то другой.

АППСО : Как вы думаете, каким будет в этом персонаже Wall Face?

Лю Чжиюань: Для такой начинающей компании, как мы, наше преимущество — это инновации, экстремальные инновации. Наша первая цель — научиться использовать AGI. Мы рождены для этого, и в этом наше преимущество.

Даже крупные производители будут раздавлены колесами истории, если они не будут внедрять инновации, как тогда была Nokia.

АППСО: Как бы вы охарактеризовали свое сотрудничество с Huawei?

Лю Чжиюань: Мы надеемся наладить партнерство с такими компаниями, как Huawei, которое может послужить отраслевой моделью сотрудничества между устройствами и облаком .

ПРИЛОЖЕНИЕ: Huawei выпустила чистокровный Hongmeng, в котором очень важны структура искусственного интеллекта и большие модели. Будете ли вы сотрудничать в будущем?

Лю Чжиюань: Определенно будет сотрудничество в области интеллектуальных чипов, интеллектуальных операционных систем и даже на уровне моделей.

АППСО: Вы обеспокоены тем, что производители оборудования создают свои собственные модели устройств?

Лю Чжиюань: Это большая разница между китайским и американским рынками. В американской производственной цепочке существует сильное чувство безопасности друг перед другом, и каждый может вести бизнес вместе. Но Китай, похоже, хочет, чтобы каждая компания делала все сама. Если есть что-то, что не делается самостоятельно, она будет чувствовать себя очень неуверенно. Если мы сможем творчески сформировать очень стабильное сотрудничество, то я верю, что она сможет дать результат. полная игра для всех преимуществ работы, но может лучше занять этот рынок.

АППСО: Что может Wallface такого, чего не могут другие производители оборудования?

Лю Чжиюань: Прежде всего, с точки зрения алгоритмов больших моделей, их технология быстро распространяется. Мы не используем технологию обучения моделей, которую другие производители никогда не освоят.

По крайней мере, на данный момент, с другой стороны, из-за ограничений в вычислительной мощности и энергопотреблении памяти фактически предъявляются более высокие требования к процессу производства модели. Он должен иметь возможность поместить модель в меньшую шкалу параметров более экстремальным образом и в то же время иметь более сильные возможности.

Например, в процессе производства чипов необходимо использовать самый передовой процесс для изготовления чипов для конечного тестирования. Поскольку пространство для сквозного тестирования меньше и более чувствительно к энергопотреблению, даже модель сквозного тестирования должна требовать более высокого модельного процесса, который является более строгим, чем облачная модель.

При облачном тестировании, пока у вас достаточно вычислительных ресурсов, у вас может быть больше возможностей для маневра. Но в конечном тестировании все по-другому. Ограничения конечного тестирования ограничены его чипом, памятью и батареей. Поэтому вам придется обучать очень маленькую модель. С этой точки зрения, не говоря уже о крупных модельных компаниях, присутствующих сейчас на рынке, например, Google обучал моделей того же уровня на два месяца позже нас и все еще отставал от нас примерно на 10%.

АППСО: Вы уже предсказывали, что в будущем большинство приложений будет на стороне устройства. Как вы думаете, насколько это возможно?

Лю Чжиюань: На самом деле, конечный тестер должен быть Эйнштейном, чтобы обслуживать вас. Достаточно уровня GPT-4 или GPT-4o. По моим оценкам, если плотность знаний конечных микросхем будет увеличиваться такими же темпами, то в ближайшие два года мы сможем внедрить уровень GPT-4 в конечное тестирование, и тогда более 80% требований будут выполнены на торцевая сторона.

АППСО: Ваш прогноз весьма радикален.

Лю Чжиюань: Это радикально? Мы можем подождать и посмотреть.

Цель AGI должна выходить за рамки человеческой природы

ПРИЛОЖЕНИЕ: С момента появления больших моделей все производители крупных моделей говорили о TPF Technology-Problem Fit). Как Wall-Facing Intelligence формирует внутренний консенсус по технологиям и продуктам и объединяет T и P?

Лю Чжиюань: У нас есть долгосрочное видение. Мы хотим стать суперприложением в эпоху искусственного интеллекта.

Но нам нужно выжить в краткосрочной перспективе и доказать рынку ценность нашей технологии. Поэтому мы завершим проверку технологии посредством стратегического сотрудничества с некоторыми производителями, например, помогая Народному суду промежуточной инстанции Шэньчжэня запустить судебную систему с использованием искусственного интеллекта. Эти исследования являются нашими краткосрочными целями в реализации нашего долгосрочного видения.

АППСО: Суперприложения также являются очень горячей темой. Робин Ли сказал, что когда мы сейчас говорим о суперприложениях, это может быть ловушкой или ложным утверждением. На данный момент не существует общепринятого определения того, что такое суперприложение. Что вы думаете?

Лю Чжиюань: После 2000 года я заметил по крайней мере две очень важные технологические волны. Одной из них была поисковая технология, которая породила такие крупные компании, как Google. Второй раз — технология персонализированных рекомендаций. Это привело к появлению таких важных приложений, как Douyin.

Фактически, сами эти технологии в то время были очень надежными. Все знают, что это очень большой прорыв. Речь идет лишь о том, как его использовать и какой продукт он образует. Этот вопрос неопределенный и требует конкуренции.

Для нас первое — овладеть самой передовой технологией, а второе — быть достаточно чуткими. Когда появляется суперприложение, мы должны уметь осознавать, что это суперприложение.

АППСО: То есть вы думаете, что сейчас сложно дать определение суперприложению?

Лю Чжиюань: Оглядываясь назад, когда появились Google и Toutiao, сколько людей осознали, что это были суперприложения. В то время Yahoo News создала специальное приложение, которое отправляло вам только десять новостей каждый день.

Видите ли, даже если сегодняшние заголовки уже будут перед ними, он все равно будет принимать эти решения. Более того, суперприложение еще не появилось. Даже если оно появится, большинство людей его не заметят.

APPSO: Как найти суперприложения?

Лю Чжиюань: Я всегда говорю своим ученикам : никогда не будьте людьми с корыстными интересами . Не отказывайтесь признать, что вы совершили революцию только потому, что раньше у вас были различные преимущества .

Многие люди не желают признавать, что в них произошла революция. Занимаясь статистическим машинным переводом, он не хотел видеть появление нейронного машинного перевода. Занимаясь нейронным машинным переводом, он не хочет видеть появления больших моделей. Потому что он чувствовал, что все, в чем он хорош, бессмысленно, и не хотел этого признавать.

АППСО: Это человеческая природа.

Лю Чжиюань: 99% людей — люди. Я думаю, что для достижения этой цели у вас должно быть чувство миссии. Ваша цель должна выходить за рамки вашей человечности .

Если ваша миссия ниже вашей человечности, то вы не сможете ее выполнить. Например, если фаундер считает, что для него самое главное — сохранить компанию, я думаю, есть большая вероятность, что он не сможет догнать суперприложение. Как он сможет это сделать? сделай это хорошо?

АППСО: Только несколько идеалистический человек мог бы сказать такое.

Лю Чжиюань: Без идеализма я бы не основал эту компанию.

АППСО: Некоторые говорят, что сложность перехода от большой модели к интеллектуальному агенту экспоненциальна. Это правда?

Лю Чжиюань: Я не думаю, что существует стандартный ответ на сам интеллект, но ключ зависит от того, что вы в него вкладываете. В отношении чего я более оптимистичен, так это в том, что интеллектуальный агент может быть оснащен многими вещами, такими как возможности планирования, принятия решений и исследования. Если вы рассматриваете все это как часть AGI, я на самом деле думаю, что в будущем стоит ожидать большего от интернет-агентов.

Это эквивалент Интернета, состоящего из этих агентов. Мы называем его Интернетом интеллекта. Я думаю, что этого стоит ожидать больше. Вы можете себе представить, что, как и наше человеческое общество, это очень взаимосвязанное сообщество. Каждый выполняет какую-то работу посредством полного сотрудничества. Многие области, особенно сложные, фактически требуют от каждого наличия собственного профессионального опыта и опыта, и для их достижения необходимо работать вместе.

АППСО: Не слишком ли сейчас говорить об AGI?

Лю Чжиюань: Я не думаю, что это далеко. До выхода ChatGPT примерно в конце 2022 года я всегда чувствовал, что у AGI все еще есть нерешенная проблема, а именно проблема здравого смысла, то есть того, как установить здравый смысл в отношении мира.

Например, у утки одна голова, две ноги и два крыла – это элементарный здравый смысл. До появления GPT-3.5 я думал, что эти знания сложно извлечь из данных. В том числе и физические проблемы, например, что происходит, когда смахиваешь чашку со стола на пол и т. д. Когда вы задаете здравые вопросы о больших моделях, он не может на них ответить.

После появления ChatGPT мы обнаружили, что этот здравый смысл, похоже, может быть усвоен моделью на основе данных. Просто мы раньше не знали, как его называть, и ChatGPT подсказал нам, как его называть. Я думаю, что этот технический путь очень гладкий. Вам просто нужно передать в эту модель данные, соответствующие тем знаниям, которые необходимо изучить, чтобы она обучилась.

АППСО: Могут ли большие модели действительно понимать мир так, как это делают люди?

Лю Чжиюань: Он подключен к этой модели и изучает ваши ежедневные привычки использования этих приложений. Нет абсолютно никаких причин, по которым он не может узнать ваши предпочтения. Например, если я хочу забронировать рейс, а вы сообщите ему, когда я хочу его забронировать, он просто это сделает.
Так что, по моему мнению, направление этой технологии было очень определённым. Говоря просто о том, как решить три элемента: данные, архитектура и методы роста, я думаю, нам следует взглянуть на эту проблему более оптимистично.

OpenAI заявляет, что через шесть лет станет сверхразведывательной компанией, и я считаю, что это вполне достижимая цель .

# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.

Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo