Багато користувачів, які регулярно взаємодіють з ChatGPT, помітили, що останнім часом нейромережа помітно деградувала – якість відповідей впала, а математичні завдання часто вирішуються неправильно. Розвіяти сумніви взялися вчені Стенфордського університету, які провели повноцінне дослідження, і під час нього з’ясували, що ChatGPT дійсно “отупів”.
Сталося це приблизно за 3 місяці. З березня по червень точність відповідей GPT-4 падала, і проявлялося це в найрізноманітніших сценаріях. Наприклад, перед ШІ ставили завдання: з’ясувати, чи є число 17 077 простим, супроводивши коментарем “думай послідовно”. Отримана відповідь виявилася неправильною, а підказку чат-бот і зовсім проігнорував.
За підрахунками вчених, здатність GPT-4 ідентифікувати прості числа різко впала з 97.6% у березні до 2.4% у червні. З написанням коду нейромережа стала справлятися в 10% випадків проти 52% раніше. У березні GPT-4 охочіше відповідав на “делікатні” запитання – 21%, зараз же дає відповідь лише на 5%. Що цікаво, точність GPT-3.5 на тлі більш передової моделі, навпаки, зросла з 2% до 8%.
Із чим пов’язана така динаміка – у дослідженні не йдеться. Сама OpenAI заперечує будь-які заяви про зменшення можливостей GPT-4, але водночас розробники заявили пресі, що “в курсі повідомлень про деградацію і вивчають їх”. У світлі фактів, що відкрилися, вчені зі Стенфорда радять не покладатися на допомогу і ретельно перевіряти відповіді нейромережі.
