Последняя модель ChatGPT может привести к снижению производительности

Дядя Влад
Согласно новому отчету Artificial Analysis , флагманская модель большого языка OpenAI для ChatGPT , GPT-4o, за последние недели значительно ухудшилась, в результате чего производительность современной модели оказалась на одном уровне с гораздо меньшей и заметно менее функциональной моделью. , модель GPT-4o-мини .

Этот анализ появился менее чем через 24 часа после того, как компания объявила об обновлении модели GPT-4o . «Творческие способности модели к письму повысились: она стала более естественной, увлекательной и адаптированной для повышения релевантности и читаемости», — написал OpenAI на X. «Также она лучше работает с загруженными файлами, обеспечивая более глубокое понимание и более подробные ответы». Будут ли эти утверждения продолжаться, теперь подвергается сомнению.

«Вчера мы завершили проведение независимых оценок версии OpenAI GPT-4o и постоянно измеряем существенно более низкие оценки, чем августовская версия GPT-4o», — объявила компания Artificial Analysis в сообщении X в четверг, отметив, что искусственный анализ модели Индекс качества снизился с 77 до 71 (и теперь равен показателю GPT-4o mini).

Более того, производительность GPT-4o в тесте GPQA Diamond снизилась с 51% до 39%, а в тестах MATH снизилась с 78% до 69%.

Одновременно исследователи обнаружили более чем двукратное увеличение скорости ответов модели, увеличившись примерно с 80 выходных токенов в секунду до примерно 180 токенов/с. «Как правило, мы наблюдали значительно более высокие скорости в день запуска моделей OpenAI (вероятно, из-за возможностей OpenAI по обеспечению перед внедрением), но ранее не видели двукратной разницы в скорости», — пишут исследователи.

«На основании этих данных мы делаем вывод, что вполне вероятно, что модель OpenAI GPT-4o, выпущенная 20 ноября, является моделью меньшего размера, чем августовская версия», — продолжили они. «Учитывая, что OpenAI не снизила цены на версию от 20 ноября, мы рекомендуем разработчикам не переносить рабочие нагрузки с августовской версии без тщательного тестирования».

GPT-4o был впервые выпущен в мае 2024 года и превзошел существующие модели GPT-3.5 и GPT-4 . По данным OpenAI, GPT-4o предлагает самые современные результаты тестов в голосовых, многоязычных и зрительных задачах, что делает его идеальным для продвинутых приложений, таких как перевод в реальном времени и разговорный искусственный интеллект.