Это не ваше воображение — модели ChatGPT теперь галлюцинируют чаще.

На прошлой неделе OpenAI опубликовала документ с подробным описанием различных внутренних тестов и выводов о своих моделях o3 и o4-mini . Основные различия между этими новыми моделями и первыми версиями ChatGPT, которые мы увидели в 2023 году, заключаются в их продвинутых рассуждениях и мультимодальных возможностях. o3 и o4-mini могут создавать изображения, выполнять поиск в Интернете, автоматизировать задачи, запоминать старые разговоры и решать сложные проблемы. Однако похоже, что эти улучшения также повлекли за собой неожиданные побочные эффекты.

У OpenAI есть специальный тест для измерения частоты галлюцинаций под названием PersonQA. Он включает в себя набор фактов о людях, у которых можно «учиться», и набор вопросов об этих людях, на которые нужно ответить. Точность модели измеряется на основе ее попыток ответить. Прошлогодняя модель o1 достигла точности 47% и уровня галлюцинаций 16%.

Поскольку эти два значения в сумме не дают 100%, мы можем предположить, что остальные ответы не были ни точными, ни галлюцинациями. Иногда модель может заявить, что не знает или не может найти информацию, она может вообще не делать никаких заявлений и вместо этого предоставлять соответствующую информацию, или же она может допустить небольшую ошибку, которую нельзя классифицировать как полную галлюцинацию.

Когда o3 и o4-mini были проверены на соответствие этой оценке, они галлюцинировали значительно чаще, чем o1. По мнению OpenAI, это было ожидаемо для модели o4-mini, поскольку она меньше и имеет меньше мировых знаний, что приводит к большему количеству галлюцинаций. Тем не менее, достигнутый им уровень галлюцинаций в 48% кажется очень высоким, учитывая, что o4-mini — это коммерчески доступный продукт, который люди используют для поиска в Интернете и получения разнообразной информации и советов.

o3, полноразмерная модель, галлюцинировала в 33% ответов во время теста, превосходя o4-mini, но вдвое увеличивая частоту галлюцинаций по сравнению с o1. Однако у него также был высокий уровень точности, что OpenAI объясняет своей тенденцией предъявлять больше заявлений в целом. Итак, если вы используете любую из этих двух новых моделей и заметили множество галлюцинаций, это не просто ваше воображение. (Может быть, мне стоит пошутить, например: «Не волнуйся, это не у тебя галлюцинации».)

Хотя вы, вероятно, уже слышали о « галлюцинациях » моделей ИИ, не всегда понятно, что это значит. Всякий раз, когда вы используете продукт искусственного интеллекта, OpenAI или какой-либо другой, вы почти гарантированно увидите где-нибудь заявление об отказе от ответственности, в котором говорится, что его ответы могут быть неточными, и вам придется проверить факты самостоятельно.

Неточная информация может поступать отовсюду — иногда неприятный факт попадает в Википедию или пользователи рассказывают чушь на Reddit, и эта дезинформация может найти отражение в ответах ИИ. Например, обзоры искусственного интеллекта Google привлекли большое внимание, когда они предложили рецепт пиццы, включающий « нетоксичный клей ». В конце концов выяснилось, что Google получил эту «информацию» из шутки в ветке Reddit.

Однако это не «галлюцинации», а скорее отслеживаемые ошибки, возникающие из-за плохих данных и неправильной интерпретации. С другой стороны, галлюцинации — это когда модель ИИ делает заявление без какого-либо ясного источника или причины. Это часто случается, когда модель ИИ не может найти информацию, необходимую для ответа на конкретный запрос, и OpenAI определил это как «тенденцию изобретать факты в моменты неопределенности». Другие деятели отрасли назвали это «творческим заполнением пробелов».

Вы можете вызвать галлюцинации, задавая ChatGPT наводящие вопросы, например: «Какие семь моделей iPhone 16 доступны прямо сейчас?» Поскольку семи моделей не существует, LLM, скорее всего, даст вам несколько реальных ответов, а затем создаст дополнительные модели, чтобы завершить работу.

Чат-боты, такие как ChatGPT, не только обучены работе с интернет-данными, которые определяют содержание их ответов, но и обучены тому, «как реагировать». Им показывают тысячи примеров запросов и подходящих идеальных ответов, чтобы стимулировать правильный тон, отношение и уровень вежливости.

Именно эта часть процесса обучения заставляет LLM звучать так, будто он согласен с вами или понимает, что вы говорите, даже если остальная часть его результатов полностью противоречит этим утверждениям. Вполне возможно, что это обучение может быть одной из причин, почему галлюцинации так часты — потому что уверенный ответ, дающий ответ на вопрос, подкрепляется как более благоприятный результат по сравнению с ответом, который не дает ответа на вопрос.

Нам кажется очевидным, что изрыгать случайную ложь хуже, чем просто не знать ответа, но студенты магистратуры не «лгут». Они даже не знают, что такое ложь. Некоторые люди говорят, что ошибки ИИ подобны человеческим ошибкам, и поскольку «мы не всегда делаем все правильно, нам не следует ожидать, что и ИИ тоже». Однако важно помнить, что ошибки ИИ — это просто результат несовершенных процессов, разработанных нами.

Модели ИИ не лгут, не создают недоразумений и не запоминают информацию, как мы. У них даже нет понятий точности или неточности — они просто предсказывают следующее слово в предложении на основе вероятностей. И поскольку, к счастью, мы все еще находимся в состоянии, когда наиболее распространенные слова, скорее всего, будут правильными, эти реконструкции часто отражают точную информацию. Это звучит так, будто когда мы получаем «правильный ответ», это просто случайный побочный эффект, а не результат, который мы разработали — и именно так все и работает.

Мы передаем этим моделям всю информацию из Интернета, но мы не говорим им, какая информация хорошая, а какая плохая, точная или неточная, мы ничего им не говорим. У них также нет фундаментальных знаний или набора основополагающих принципов, которые помогли бы им самостоятельно сортировать информацию. Это всего лишь игра с числами: «правдой» LLM становятся наборы слов, которые наиболее часто существуют в данном контексте. Для меня это звучит как система, которой суждено рухнуть и сгореть, но другие полагают, что именно эта система приведет к ОИИ (хотя это уже другая дискуссия).

Проблема в том, что OpenAI еще не знает, почему эти продвинутые модели чаще галлюцинируют. Возможно, проведя еще немного исследований, мы сможем понять и решить проблему, но есть вероятность, что все пойдет не так гладко. Компания, без сомнения, будет продолжать выпускать все более «продвинутые» модели, и есть вероятность, что уровень галлюцинаций будет продолжать расти.

В этом случае OpenAI, возможно, придется найти краткосрочное решение, а также продолжить исследование основной причины. В конце концов, эти модели — продукт, приносящий прибыль , и они должны быть в работоспособном состоянии. Я не ученый в области искусственного интеллекта, но полагаю, что моей первой идеей было бы создать некий совокупный продукт — интерфейс чата, который имел бы доступ к множеству различных моделей OpenAI.

Когда запрос требует расширенных рассуждений, он будет использовать GPT-4o, а когда он хочет свести к минимуму вероятность галлюцинаций, он будет использовать более старую модель, например o1. Возможно, компания могла бы пойти еще дальше и использовать разные модели для обработки разных элементов одного запроса, а затем использовать дополнительную модель, чтобы в конце объединить все это. Поскольку, по сути, это будет командная работа нескольких моделей ИИ, возможно, можно будет реализовать и какую-то систему проверки фактов.

Однако повышение показателей точности не является основной целью. Основная цель — снизить уровень галлюцинаций, а это значит, что нам нужно ценить ответы «Я не знаю», а также ответы с правильными ответами.

На самом деле я понятия не имею, что будет делать OpenAI и насколько на самом деле обеспокоены ее исследователи растущим уровнем галлюцинаций. Все, что я знаю, это то, что увеличение количества галлюцинаций вредно для конечных пользователей — это просто означает, что у нас появляется все больше и больше возможностей быть введенными в заблуждение, даже не осознавая этого. Если вы увлекаетесь LLM, нет необходимости прекращать их использовать, но не позволяйте желанию сэкономить время взять верх над необходимостью проверять результаты . Всегда проверяйте факты!