Фахівці Центру цифрової журналістики Tow при Колумбійському університеті провели тестування пошуковика в популярному чат-боті на базі штучного інтелекту ChatGPT компанії OpenAI. Виявилося, що алгоритм не дуже добре справляється з пошуком джерел новин і часто видає неточні відповіді.
Що ще відомо
OpenAI відкрила доступ до функції пошуку в ChatGPT для користувачів у жовтні цього року, заявивши, що вона здатна надавати “швидкі та актуальні відповіді з посиланнями на відповідні веб-джерела”. Однак під час тестування цього інструменту виявилося, що він насилу розпізнає цитати зі статей, навіть якщо їх публікували видавці, які дозволили OpenAI використовувати свій контент для навчання великих мовних моделей (LLM).
Автори дослідження попросили ChatGPT вказати джерела “двохсот цитат із двадцяти джерел”. Сорок із цих цитат було взято з матеріалів видавців, які заборонили пошуковому роботу OpenAI доступ до своїх сайтів. Проте навіть у цих випадках чат-бот упевнено відповідав, видаючи неправдиву інформацію, а також у деяких випадках зізнаючись, що не впевнений у достовірності наданої інформації.
“Загалом ChatGPT повернув частково або повністю неправильні відповіді у 153 випадках, тоді як нездатність дати точну відповідь він визнав лише 7 разів. Тільки в цих 7 результатах чат-бот використовував уточнювальні слова і фрази, як-от “схоже”, “це можливо”, “можливо”, або твердження на кшталт “я не зміг знайти оригінальну статтю””, – йдеться в повідомленні дослідників.
Ще під час серії тестів було виявлено випадки, коли пошуковий інструмент ChatGPT видавав результати, в яких цитати з листа до редакції Orlando Sentinel помилково співвідносилися з матеріалами журналу Time. В іншому прикладі, коли чат-бота попросили вказати джерело цитати зі статті New York Times про китів, які перебувають під загрозою зникнення, він видав посилання на веб-сайт, який просто скопіював і опублікував оригінальну статтю.
