Новейшие продукты OpenAI полностью представлены! Ультрачеловек отрицает, что развитие ИИ зашло в тупик. Илья признает свою ошибку и тайно ищет следующий крупный прорыв.
В этом году в сфере искусственного интеллекта действительно наблюдаются волны волнения.
Недавно в кругах ИИ взорвалась новость о том, что законы масштабирования «бьются о стену». Лауреаты премии Тьюринга Ян Лекун, Илья и основатель Anthropic Дарио Амодей начали словесную войну.
В основе дебатов лежит вопрос о том, будет ли предел улучшения производительности по мере того, как модели будут продолжать расти в размерах. Поскольку общественное мнение усиливается, генеральный директор OpenAI Сэм Альтман только что ответил на платформе X:
«Нет стены, нет стены»
В контексте этих дебатов Bloomberg сообщил поразительную новость.
OpenAI планирует запустить AI-агент под названием «Оператор» в январе следующего года. Этот агент может использовать компьютеры для выполнения задач от имени пользователей, таких как написание кода или бронирование поездок.
До этого выяснилось, что Anthropic, Microsoft и Google планируют в аналогичных направлениях.
Для всей индустрии искусственного интеллекта развитие технологий искусственного интеллекта никогда не было одномерным линейным процессом. Когда кажется, что одно направление встречает сопротивление, инновации часто прорываются в других измерениях.
Законы масштабирования Ударились о стену? Каков следующий шаг?
Новость о том, что Scaling Laws столкнулась с узкими местами, впервые появилась в репортаже иностранного СМИ The Information в минувшие выходные.
Красноречивый отчет, состоящий из тысяч слов, выявил две ключевые части информации.
Хорошей новостью является то, что хотя OpenAI завершила 20% процесса обучения модели Orion следующего поколения, Альтман заявил, что Orion уже находится на одном уровне с GPT-4 с точки зрения интеллекта и способности выполнять задачи и отвечать на вопросы.
Плохая новость заключается в том, что, по оценке сотрудников OpenAI, которые его использовали, по сравнению с огромным прогрессом между GPT-3 и GPT-4, Orion имеет меньшие улучшения, такие как плохая производительность на таких задачах, как программирование, и более высокая производительность. текущие расходы.
Одним словом, законы масштабирования столкнулись с узким местом.
Чтобы понять, что законы масштабирования оказываются не такими хорошими, как ожидалось, нам нужно кратко представить основные понятия законов масштабирования друзьям, которые с ними не знакомы.
В 2020 году OpenAI впервые предложила законы масштабирования в статье.
Эта теория указывает, что окончательная производительность большой модели в основном связана с объемом вычислений, количеством параметров модели и объемом обучающих данных и практически не имеет ничего общего с конкретной структурой модели (количеством слоев). /глубина/ширина).
Это звучит немного неуклюже, но с человеческой точки зрения производительность больших моделей будет соответственно увеличиваться по мере увеличения размера модели, объема обучающих данных и вычислительных ресурсов.
Это исследование OpenAI заложило основу для последующей разработки больших моделей. Оно не только способствовало успеху серии моделей GPT, но также предоставило ключевые руководящие принципы для оптимизации проектирования моделей и обучения ChatGPT.
Однако, хотя мы все еще думаем о GPT-100, открытия The Information показывают, что простое увеличение размера модели больше не может гарантировать линейное улучшение производительности и сопровождается высокими затратами и значительным уменьшением предельных выгод.
И OpenAI не единственный, кто испытывает трудности.
Bloomberg процитировал людей, знакомых с этим вопросом, которые заявили, что Gemini 2.0, принадлежащий Google, также не смог достичь ожидаемых целей. В то же время время выпуска Claude 3.5 Opus, принадлежащего Anthropic, также неоднократно переносилось.
В индустрии искусственного интеллекта, которая идет в ногу со временем, новые новости без продукта часто означают самые плохие новости.
Должно быть ясно, что упомянутое здесь узкое место в законах масштабирования не означает прекращения разработки больших моделей. Более глубокая проблема заключается в том, что высокие затраты приводят к серьезному снижению отдачи от предельных выгод.
Генеральный директор Anthropic Дарио Амодей однажды заявил, что по мере того, как модели становятся все больше и больше, затраты на обучение резко растут, а стоимость обучения модели ИИ, разрабатываемой в настоящее время, достигает 1 миллиарда долларов.
Амодей также отметил, что в ближайшие три года стоимость обучения ИИ вырастет до астрономических цифр в 10 или даже 100 миллиардов долларов США.
Если взять в качестве примера серию GPT, то стоимость обучения только для GPT-3 достигает примерно 1,4 миллиона долларов США. Эти расходы в основном связаны с потреблением мощных вычислительных ресурсов, особенно с использованием графических процессоров, и огромными затратами на электроэнергию.
Только на обучение ГПТ-3 было потрачено 1287 МВтч электроэнергии.
В прошлом году исследование Калифорнийского университета в Риверсайде показало, что ChatGPT потребляет 500 миллилитров воды на каждые 25-50 вопросов, которые он задает пользователям. По оценкам, к 2027 году годовая потребность в чистой пресной воде для глобального ИИ может достичь 4,2-6,6. млрд куб. м, что эквивалентно годовому потреблению воды 4-6 Дании или половины Великобритании.
От GPT-2 к GPT-3, а затем к GPT-4 улучшение опыта, вызванное ИИ, было стремительным.
Именно на основе этого замечательного прогресса крупные компании будут инвестировать значительные средства в область искусственного интеллекта. Но когда этот путь постепенно подходит к концу, простое расширение масштаба модели больше не может гарантировать значительное улучшение производительности. Высокие затраты и уменьшение предельных выгод становятся реальностью, с которой приходится сталкиваться.
Теперь, вместо того чтобы слепо гоняться за масштабированием, важнее реализовать масштабирование в правильном направлении.
Прощай, ГПТ, здравствуй, рассуждение «О»;
Все отвергают стену, даже теорию.
Когда новость о том, что Scaling Laws подозревается в обнаружении узкого места, вызвала бурю негодования в кругах ИИ, голоса сомнений также возросли.
Янн Лекун, лауреат премии Тьюринга и главный научный сотрудник Meta AI, который всегда занимал антимейнстримную позицию, вчера с волнением сделал репост интервью Reuters с Ильей Суцкевером на платформе X со следующей статьей:
«Не хочу, чтобы это звучало как запоздалая мысль, но я вам напомнил.
Цитата: «Илья Суцкевер, соучредитель лабораторий искусственного интеллекта Safe Superintelligence (SSI) и OpenAI, недавно рассказал Reuters, что за счет расширения этапа предварительного обучения, то есть использования больших объемов неразмеченных данных, можно научить модели ИИ понимать языковые модели и структуры — результаты застопорились».
Оглядываясь назад на оценку текущего маршрута большой модели, сделанную гигантом искусственного интеллекта за последние два года, можно сказать, что каждое слово тщательно продумано, а каждое предложение — кроваво.
Например, сегодняшний ИИ тупее кошки, а его интеллект сильно отстает; LLM не имеет непосредственного опыта физического мира и только манипулирует текстом и изображениями, не понимая мир по-настоящему. Если он продолжит заставлять себя, это приведет только к тупик и т. д.
Вернувшись два месяца назад, Ян Лекун бесцеремонно приговорил нынешнюю мейнстримную линию к смерти. Среди многих теорий конца света в области ИИ он также твердо уверен, что утверждения о том, что ИИ будет угрожать выживанию человечества, являются чистой чепухой:
- Большие языковые модели (LLM) не могут отвечать на вопросы, не включенные в их обучающие данные.
- Они не могут решать сложные задачи, для решения которых их не подготовили.
- Они не могут освоить новые навыки или знания без значительной человеческой помощи.
- Они не могут создавать новые вещи. В настоящее время большие языковые модели являются лишь частью технологии искусственного интеллекта. Простое масштабирование этих моделей не сделает их способными на это.
Доктор Тянь Юаньдун, который также работает в Meta FAIR, ранее предвидел нынешнюю дилемму.
В майском интервью СМИ китайский учёный пессимистично заявил, что законы масштабирования, возможно, и правы, но это ещё не всё. По его мнению, суть законов масштабирования заключается в обмене экспоненциального роста данных на «несколько пунктов выигрыша».
«В конце концов, у человеческого мира может быть множество долгосрочных потребностей, которые требуют от людей быстрого реагирования. Сами данные в этих сценариях очень малы, и LLM не может их получить. В конце концов, когда будет развиваться закон масштабирования, каждый может стоять на одних и тех же «данных». На «изолированном острове» данные на изолированном острове полностью принадлежат всем и постоянно генерируются каждое мгновение. Эксперты учатся интегрироваться с ИИ и становятся очень могущественными, и ИИ не может их заменить. "
Однако ситуация, возможно, пока не столь пессимистична.
Объективно говоря, в интервью агентству Reuters Илья признал, что прогресс, достигнутый благодаря законам о масштабировании, застопорился, но не заявил о его завершении.
«2010-е годы были эпохой масштабирования, и теперь мы снова вступаем в новую эпоху чудес и открытий. Теперь выбор правильных вещей для масштабирования важен как никогда. важный."
Более того, Илья также сообщил, что SSI изучает новый метод расширения процесса предварительной подготовки.
Об этом недавно рассказал в подкасте Дарио Амодей.
Он предсказывает, что не существует абсолютного потолка для моделей ниже человеческого уровня. Поскольку модель еще не достигла человеческого уровня, нельзя сказать, что законы масштабирования потерпели неудачу, но что замедление роста действительно произошло.
С древних времен не менялись горы и менялась вода, не менялась вода и менялись люди.
В прошлом месяце исследователь OpenAI Ноам Браун заявил на конференции TED AI:
«Оказывается, что если попросить робота подумать в течение 20 секунд во время игры в покер, это дает такой же прирост производительности, как если бы масштабирование модели в 100 000 раз и обучение ее в 100 000 раз дольше».
Что касается вчерашних замечаний Янна Лекуна, он ответил так:
«Сейчас мы находимся в мире, где, как я уже говорил, вычислительные затраты, необходимые для предварительного обучения крупномасштабной языковой модели, очень и очень высоки. Но стоимость вывода очень низка. Многие люди были обоснованно обеспокоены тем, что по мере предварительного обучения стоимость и объем данных, необходимых для обучения, становятся настолько большими, что мы увидим уменьшающуюся отдачу от прогресса ИИ. Но я думаю, что от o1. Один из действительно важных извлеченных уроков заключается в том, что этой стены не существует, и мы действительно можем продвинуть этот процесс дальше, потому что теперь мы можем расширить логические вычисления, и есть огромные возможности для расширения логических вычислений».
Исследователи, которых представляет Ноам Браун, твердо убеждены, что вычисления во время тестирования могут стать еще одной панацеей для улучшения производительности моделей.
Говоря об этом, нельзя не упомянуть знакомую модель OpenAI o1.
Модель o1, очень похожая на человеческое мышление, может «думать» о проблемах посредством многоэтапного рассуждения. Ее основной секрет заключается в том, что в такой сети, как GPT-4, требуется дополнительное обучение. на базовой модели.
Например, модели могут в конечном итоге выбрать лучший путь вперед, генерируя и оценивая несколько возможных ответов в реальном времени, а не сразу выбирая один ответ. Это позволяет сосредоточить больше вычислительных ресурсов на сложных задачах, таких как математические задачи и программирование. или те сложные операции, которые требуют человеческого мышления и принятия решений.
Google недавно пошел по этому пути.
The Information сообщает, что в последние недели DeepMind сформировала команду в своем подразделении Gemini во главе с главным научным сотрудником Джеком Рэем и бывшим соучредителем Feature.AI Ноамом Шазиром для разработки аналогичных возможностей.
В то же время Google, чтобы не отставать, пробует новые технические пути, включая корректировку «гиперпараметров», то есть переменных, которые определяют, как модель обрабатывает информацию, например, насколько быстро она устанавливает связи между различными концепциями или шаблонами в обучении. данные и посмотреть, какие переменные приводят к лучшим результатам.
Кстати, важной причиной замедления развития GPT является отсутствие качественного текста и других доступных данных.
В ответ на эту проблему исследователи Google изначально надеялись использовать ИИ для синтеза данных и включения аудио и видео в данные обучения Gemini, чтобы добиться значительных улучшений, но эти попытки, похоже, не принесли большого эффекта.
Люди, знакомые с ситуацией, также рассказали, что OpenAI и другие разработчики также используют синтетические данные. Однако они также обнаружили, что влияние синтетических данных на улучшение моделей ИИ очень ограничено.
Привет Джарвис
Прощай GPT, здравствуй рассуждение «о».
На недавнем мероприятии Reddit AMA пользователь сети спросил Альтмана, будут ли запущены «GPT-5» и полная версия модели вывода o1.
Тогда Альтман ответил: «Мы уделяем приоритетное внимание запуску o1 и его последующих версий», добавив, что ограниченные вычислительные ресурсы затрудняют одновременный запуск нескольких продуктов.
Он также подчеркнул, что модель следующего поколения, возможно, больше не будет называться «GPT».
Теперь кажется, что Альтман стремится провести четкую границу с системой именования GPT и вместо этого запускает модель вывода, названную в честь «о». Кажется, за этим стоит глубокий смысл. Компоновка модели вывода все еще может заложить основу для текущего основного агента.
Недавно Альтман также снова рассказал о пятиуровневой теории AGI в интервью президенту YC Гарри Тану:
- L1: Чат-роботы — это искусственный интеллект с диалоговыми возможностями, который может беспрепятственно общаться с пользователями, предоставлять информацию, отвечать на вопросы, помогать в создании и т. д., например, чат-роботы.
- L2: ИИ, чьи мыслители могут решать проблемы, как люди, могут решать сложные проблемы, аналогичные человеческим уровням доктора философии, и демонстрировать мощные способности к рассуждению и решению проблем, такие как OpenAI o1.
- L3: Система искусственного интеллекта, в которой агент может не только думать, но и действовать, а также выполнять полностью автоматизированные операции.
- L4: ИИ, которому новаторы могут помогать в изобретениях и творчестве, обладает способностью к инновациям и может помогать людям генерировать новые идеи и решения в таких областях, как научные открытия, художественное творчество или инженерный дизайн.
- L5: ИИ, который организаторы могут выполнять организационную работу и могут автоматически контролировать планирование, выполнение, обратную связь, итерацию, распределение ресурсов, управление и т. д. межбизнес-процессами всей организации, в основном похож на людей.
Итак, мы видим, что, как и Google и Anthropic, OpenAI теперь смещает свое внимание с моделей на серию инструментов искусственного интеллекта, называемых агентами.
Недавно Bloomberg также сообщил, что OpenAI готовится к запуску нового ИИ-агента под названием «Оператор», который может использовать компьютеры для выполнения задач от имени пользователей, таких как написание кода или бронирование поездок.
На совещании сотрудников в среду руководство OpenAI объявило о планах выпустить исследовательскую предварительную версию инструмента в январе и сделать его доступным для разработчиков через интерфейс прикладного программирования (API) компании.
До этого Anthropic также запустила аналогичный Агент, который может обрабатывать задачи пользовательского компьютера в режиме реального времени и выполнять операции от его имени. В то же время Microsoft недавно запустила для сотрудников набор инструментов «Агент» для отправки электронных писем и управления записями.
Google также готовится к запуску собственного AI-агента.
В отчете также говорится, что OpenAI проводит несколько исследовательских проектов, связанных с агентами. Наиболее близким к завершению является универсальный инструмент, способный выполнять задачи в веб-браузере.
Ожидается, что эти агенты смогут понимать, рассуждать, планировать и предпринимать действия, но на самом деле эти агенты представляют собой систему, состоящую из нескольких моделей ИИ, а не одной модели.
Билл Гейтс однажды сказал: «На каждом рабочем столе есть компьютер», а Стив Джобс сказал: «У каждого в руке есть смартфон». Теперь мы можем смело прогнозировать: у каждого будет свой ИИ-агент.
Конечно, конечная цель человечества состоит в том, чтобы мы надеемся, что однажды мы сможем произнести классический диалог из фильма с ИИ, находящимся перед нами:
Привет Джарвис
# Добро пожаловать на официальную общедоступную учетную запись WeChat Aifaner: Aifaner (идентификатор WeChat: ifanr). Более интересный контент будет предоставлен вам как можно скорее.
Ай Фанер | Исходная ссылка · Посмотреть комментарии · Sina Weibo