ИИ уже вышел на стадию? Новые отчеты показывают, что у GPT-5 могут быть проблемы

Согласно новому отчету The Information , модель ChatGPT следующего поколения Orion от OpenAI, появление которой, как ходят слухи , так и отрицаются , к концу года, возможно, не будет тем, чем ее разрекламировали, когда она появится.

Ссылаясь на анонимных сотрудников OpenAI, в отчете утверждается, что модель Orion продемонстрировала «гораздо меньшее» улучшение по сравнению со своим предшественником GPT-4, чем GPT-4 по сравнению с GPT-3 . Эти источники также отмечают, что Orion «ненамного лучше своего предшественника [GPT-4] в решении определенных задач», особенно в кодировании приложений, хотя новая модель заметно лучше в общих языковых возможностях, таких как обобщение документов или создание электронных писем .

В отчете The Information говорится, что «истощение запасов высококачественного текста и других данных», на которых можно обучать новые модели, является основным фактором несущественных преимуществ новой модели. Короче говоря, индустрия искусственного интеллекта быстро сталкивается с узким местом в обучающих данных, уже лишив простых источников данных социальных сетей таких сайтов, как X, Facebook и YouTube (последний в двух разных случаях ). испытывают трудности с поиском сложных задач по кодированию, которые помогут продвинуть их модели за пределы их текущих возможностей, что замедляет их предварительное обучение.

Такое снижение эффективности обучения имеет огромные экологические и коммерческие последствия. По мере роста LLM передового класса и дальнейшего увеличения числа их параметров до высоких триллионов, ожидается, что количество энергии, воды и других ресурсов увеличится в шесть раз в следующее десятилетие . Вот почему мы видим, как Microsoft пытается перезапустить Три-Майл-Айленд , AWS покупает электростанцию ​​мощностью 960 МВт , а Google покупает мощность семи ядерных реакторов, и все это для того, чтобы обеспечить необходимую мощность для своих растущих зверинцов центров обработки данных искусственного интеллекта — текущего национального уровня. энергетическая инфраструктура просто не успевает за этим.

В ответ, как сообщает TechCrunch , OpenAI создала «команду фундаментов», чтобы обойти отсутствие соответствующих обучающих данных. Эти методы могут включать использование синтетических обучающих данных, например тех, которые может генерировать семейство моделей Nvidia Nemotron . Команда также изучает возможность улучшения производительности модели после обучения.

Ожидается, что Орион, который первоначально считался кодовым названием GPT-5 от OpenAI, прибудет в какой-то момент в 2025 году. Будет ли у нас достаточно доступной энергии, чтобы увидеть его в действии, не отключая при этом наши муниципальные электрические сети, еще предстоит увидеть.