ChatGPT став гірше відповідати на запитання: вчені назвали причину

Дослідники зі Стендфорда вивчили еволюцію чат-бота ChatGPT. Висновки невтішні. ШІ став дурнішим за останні кілька місяців. Про це свідчать результати тестів, повідомляє arxiv.org.

Вчені вирішили провести зазначену роботу після скарг користувачів на форумі OpenAI. Їм не подобалися відповіді моделі ChatGPT-4 і чат-бота Bing від Microsoft, що працює на ній же. Для оцінки якості ChatGPT змусили розв’язувати математичні задачі, відповідати на делікатні та небезпечні запитання, просили генерувати код і показати візуальне мислення.

У березневій версії ШІ з точністю до 97,6% визначав прості числа. У червневому оновленні показник становив 2,4%. GPT-3.5 за червень був кращим за GPT-3.5 за березень. Виходить, що розробники роблять оновлення свого продукту на гіршому рівні.

Як причину ситуації вчені підозрюють, що розробники пустилися в режим економії для функціонування ChatGPT. Його обслуговування за деякими даними на добу затягує до 700 тис дол. Тому нейромережа налаштовується так, щоб відповіді були тієї ж якості, але з меншими витраченими ресурсами. Якість скотилася, а економія вилізла боком. Тому ChatGPT став “дешевшим”.