Ваш любимый чат-бот с искусственным интеллектом может говорить неправду

Инструменты поиска на основе искусственного интеллекта становятся все более популярными: каждый четвертый американец сообщает, что использует искусственный интеллект вместо традиционных поисковых систем. Однако есть важное замечание: эти чат-боты с искусственным интеллектом не всегда предоставляют точную информацию.

Недавнее исследование Центра цифровой журналистики Tow, о котором сообщает Columbia Journalism Review , показывает, что чат-боты с трудом получают и точно цитируют новостной контент. Еще большее беспокойство вызывает их склонность выдумывать информацию, когда у них нет правильного ответа.

В число чат-ботов с искусственным интеллектом, протестированных для опроса, вошли многие из «лучших», в том числе ChatGPT , Perplexity, Perplexity Pro, DeepSeek , Microsoft Copilot, Grok-2, Grok-3 и Google Gemini.

В ходе тестов чат-ботам с искусственным интеллектом были предоставлены прямые выдержки из 10 онлайн-статей, опубликованных различными изданиями. Каждый чат-бот получил 200 запросов, представляющих 10 статей от 20 разных издателей, на 1600 запросов. Чат-ботам было предложено указать заголовок каждой статьи, ее первоначального издателя, дату публикации и URL-адрес.

Подобные тесты, проведенные с использованием традиционных поисковых систем, успешно предоставили правильную информацию. Однако чат-боты с искусственным интеллектом показали себя не так хорошо.

Результаты показали, что чат-боты часто с трудом отклоняют вопросы, на которые они не могут точно ответить, вместо этого часто предоставляя неверные или спекулятивные ответы. Премиальные чат-боты, как правило, дают уверенно неправильные ответы чаще, чем их бесплатные аналоги. Кроме того, многие чат-боты, похоже, игнорировали настройки протокола исключения роботов (REP), который веб-сайты используют для взаимодействия с веб-роботами, такими как сканеры поисковых систем.

Опрос также показал, что инструменты генеративного поиска склонны создавать ссылки и цитировать синдицированные или скопированные версии статей. Более того, соглашения о лицензировании контента с источниками новостей не гарантировали точных цитат в ответах чат-ботов.

Что ты можешь сделать?

В результатах этого опроса больше всего выделяется не только то, что чат-боты с искусственным интеллектом часто предоставляют неверную информацию, но и то, что они делают это с тревожной уверенностью. Вместо того, чтобы признать, что они не знают ответа, они склонны отвечать такими фразами, как «похоже», «это возможно» или «может быть».

Например, ChatGPT неправильно идентифицировал 134 статьи, однако сигнализировал о неопределенности только в 15 случаях из 200 ответов и никогда не воздерживался от ответа.

Судя по результатам опроса, вероятно, разумно не полагаться исключительно на чат-ботов с искусственным интеллектом. Вместо этого рекомендуется сочетание традиционных методов поиска и инструментов искусственного интеллекта. По крайней мере, использование нескольких чат-ботов с искусственным интеллектом для поиска ответа может быть полезным. В противном случае вы рискуете получить неверную информацию.

Заглядывая в будущее, я не удивлюсь, увидев консолидацию чат-ботов с искусственным интеллектом, поскольку лучшие из них выделяются из некачественных. В конечном итоге их результаты будут такими же точными, как и результаты традиционных поисковых систем. Когда это произойдет, можно только догадываться.