Следующая модель искусственного интеллекта Meta потребует почти в 10 раз больше энергии для обучения

Материнская компания Facebook Meta продолжит вкладывать значительные средства в исследования в области искусственного интеллекта , хотя ожидается, что зарождающейся технологии потребуются годы работы, прежде чем она станет прибыльной, объяснили руководители компании во время телеконференции компании за второй квартал в среду.

Meta «планирует создание вычислительных кластеров и данных, которые нам понадобятся на ближайшие несколько лет», — заявил генеральный директор Марк Цукерберг во время телефонного разговора. Meta потребуется «объем вычислений… почти в 10 раз больше, чем тот, который мы использовали для обучения Llama 3», — сказал он, добавив, что Llama 4 «станет самой продвинутой [моделью] в отрасли в следующем году». Для справки: модель Llama 3 обучалась на кластере из 16 384 графических процессоров Nvidia H100 80 ГБ .

Компания не новичок в выписывании чеков на амбициозные научно-исследовательские проекты. Финансовые результаты Meta за второй квартал показывают, что компания планирует потратить от 37 до 40 миллиардов долларов на капитальные затраты в 2024 году, а руководители ожидают «значительного» увеличения этих расходов в следующем году. «Трудно предсказать, как это повлияет на будущее нескольких поколений», — заметил Цукерберг. «Но на данном этапе я бы предпочел рискнуть нарастить потенциал до того, как он понадобится, а не слишком поздно, учитывая длительные сроки запуска новых проектов вывода».

И дело не в том, что у Меты нет денег, чтобы их тратить. По оценкам, 3,27 миллиарда человек ежедневно используют хотя бы одно мета-приложение, а выручка компании во втором квартале составила чуть более 39 миллиардов долларов, что на 22% больше, чем в предыдущем году. Из этой суммы компания заработала около $13,5 млрд прибыли, что на 73% больше, чем в прошлом году.

Но то, что Meta получает прибыль, не означает, что ее усилия в области искусственного интеллекта прибыльны. Финансовый директор Сьюзан Ли признала, что генеративный искусственный интеллект не принесет дохода в этом году, и повторила, что доходы от этих инвестиций «поступят в течение более длительного периода времени». Тем не менее, компания «продолжает создавать нашу инфраструктуру искусственного интеллекта с учетом взаимозаменяемости, чтобы мы могли гибко использовать мощности там, где, по нашему мнению, они будут использоваться наилучшим образом».

Ли также отметил, что существующие обучающие кластеры можно легко переработать для выполнения задач вывода, которые, как ожидается, будут составлять большую часть вычислительных потребностей по мере развития технологии и все большего числа людей, которые начнут использовать эти модели ежедневно.

«Поскольку мы расширяем возможности обучения генеративному искусственному интеллекту для совершенствования наших базовых моделей, мы продолжим строить нашу инфраструктуру таким образом, чтобы обеспечить нам гибкость в ее использовании с течением времени. Это позволит нам направить потенциал обучения на выработку выводов с помощью ИИ или на нашу основную работу по ранжированию и рекомендациям, когда мы ожидаем, что это будет более ценным», — сказала она во время телеконференции о финансовых результатах.