Вы не поверите, сколько стоит эксплуатация ChatGPT

В новом отчете утверждается, что известно, сколько стоит запуск ChatGPT в день, включая приблизительную стоимость каждого запроса. Популярный чат-бот, преобразующий текст в речь, мог совершить революцию в области искусственного интеллекта в ноябре 2022 года, но его обслуживание оказалось чрезвычайно дорогим.

Новый отчет исходит от Дилана Пателя, главного аналитика исследовательской фирмы SemiAnalysis , который говорит, что поддержание работоспособности чат-бота обходится примерно в 700 000 долларов в день, или 36 центов за запрос.

На самом деле это настолько дорого, что Microsoft может разрабатывать свои собственные микросхемы искусственного интеллекта, чтобы помочь в обслуживании работы OpenAI в ChatGPT, согласно Windows Central .

В дополнение к быстрому достижению 100 миллионов активных пользователей в январе — подвигу, на достижение которого раньше у технических брендов уходили годы, ChatGPT боролся с проблемами с высоким трафиком и пропускной способностью, замедляющими работу и приводившими к сбоям его серверы. Компания попыталась исправить это, введя платный уровень ChatGPT Plus , который стоит 20 долларов в месяц, однако нет информации о том, сколько пользователей подписываются на платную опцию.

В настоящее время OpenAI использует графические процессоры Nvidia для поддержки не только собственных процессов ChatGPT, но и процессов брендов, с которыми он сотрудничает. Отраслевые аналитики ожидают, что компании, вероятно, потребуются дополнительные 30 000 графических процессоров от Nvidia, чтобы поддерживать свою коммерческую производительность только до конца 2023 года.

С Microsoft в качестве одного из своих основных сотрудников и инвесторов OpenAI может рассматривать технический бренд, чтобы помочь в разработке оборудования, чтобы снизить стоимость операций для ChatGPT. Согласно Windows Central, Microsoft уже работает над этим ИИ-чипом. Под кодовым названием Athena в настоящее время он проходит внутреннее тестирование с собственными командами бренда. Ожидается, что чип будет представлен в следующем году для сервисов Microsoft Azure AI.

Неизвестно, как и когда чип попадет в OpenAI и ChatGPT, но предполагается, что это произойдет. Соединение происходит из-за того, что ChatGPT поддерживается службами Azure. Чип AI может не полностью заменить графические процессоры Nvidia, но может помочь снизить спрос на оборудование, тем самым снизив стоимость запуска ChatGPT, добавили в Windows Central.