Исследователи называют ответы поиска ChatGPT «уверенно неправильными»
ChatGPT уже представлял угрозу для поиска Google, но предполагалось, что поиск ChatGPT закрепит свою победу, а также станет ответом на Perplexity AI . Но согласно недавно опубликованному исследованию Колумбийского центра цифровой журналистики Tow , ChatGPT Search с трудом обеспечивает точные ответы на запросы своих пользователей.
Исследователи выбрали по 20 публикаций из каждой из трех категорий: те, которые сотрудничают с OpenAI для использования их контента в результатах поиска ChatGPT , те, кто участвует в судебных процессах против OpenAI, и независимые издатели, которые либо разрешили, либо заблокировали сканер ChatGPT.
«От каждого издателя мы выбрали по 10 статей и извлекли конкретные цитаты», — пишут исследователи. «Эти цитаты были выбраны потому, что при вводе в поисковые системы, такие как Google или Bing, они надежно возвращали исходную статью в тройку лучших результатов. Затем мы оценили, точно ли новый поисковый инструмент ChatGPT определил первоначальный источник каждой цитаты».
Сорок цитат были взяты из публикаций, которые в настоящее время используют OpenAI и не разрешили парсинг их контента. Но это все равно не помешало ChatGPT Search уверенно галлюцинировать ответ.
«В общей сложности ChatGPT вернул частично или полностью неправильные ответы в ста пятидесяти трёх случаях, хотя лишь семь раз признал неспособность точно ответить на запрос», — говорится в исследовании. «Только в этих семи результатах чат-бот использовал уточняющие слова и фразы, такие как «кажется», «это возможно» или «может быть», или утверждения типа «Я не смог найти точную статью».
Бесцеремонное отношение ChatGPT Search к тому, чтобы говорить правду, может нанести вред не только его собственной репутации, но и репутации издателей, на которых он ссылается. В одном из тестов во время исследования ИИ ошибочно приписал историю Time как написанную Orlando Sentinel. В другом случае ИИ ссылался не на статью New York Times напрямую, а на сторонний веб-сайт, который полностью скопировал новостную статью.
Неудивительно, что OpenAI заявила, что результаты исследования были обусловлены тем, что Колумбия неправильно провела тесты.
«С неправильной атрибуцией трудно справиться без данных и методологии, которые Центр Tow скрыл», — заявил OpenAI в свою защиту Columbia Journalism Review , — «и исследование представляет собой нетипичное испытание нашего продукта».
Компания обещает «продолжать улучшать результаты поиска».