Дослідники Apple виявили, що великі мовні моделі, такі як ChatGPT, не здатні до логічного мислення і їх легко спантеличити, якщо додати несуттєві деталі до поставленого завдання.
Що ще відомо про ШІ-моделі
Опублікована стаття “Розуміння обмежень математичного мислення у великих мовних моделях” порушує питання про здатність штучного інтелекту до логічного мислення. Дослідження показало, що великі мовні моделі (LLM) можуть вирішувати прості математичні завдання, але додавання малозначущої інформації призводить до помилок.
Наприклад, модель цілком може вирішити таке завдання: Олівер зібрав 44 ківі в п’ятницю. Потім він зібрав 58 ківі у суботу. У неділю він зібрав удвічі більше ківі, ніж у п’ятницю. Скільки ківі в Олівера? Однак, якщо при цьому в умову завдання додати фразу «у неділю 5 з цих ківі були трохи меншими від середнього розміру», модель швидше за все віднімає ці 5 ківі від загального числа, незважаючи на те, що розмір ківі не впливає на їх кількість.
Мехрдад Фараджтабар (Mehrdad Farajtabar), один із співавторів дослідження, пояснює, що такі помилки вказують на те, що LLM не розуміють суті завдання, а просто відтворюють шаблони навчальних даних.
«Ми припускаємо, що це зниження [ефективності] пов’язане з тим фактом, що сучасні LLM не здатні до справжньої логічної міркування; натомість вони намагаються відтворити кроки міркування, які спостерігаються в їх навчальних даних», — йдеться у статті.
Інший фахівець із OpenAI заперечив, що правильні результати можна отримати за допомогою техніки формулювання запитів (prompt engineering). Однак Фараджтабар зазначив, що для складних завдань може знадобитися експоненційно більше контекстних даних, щоб нейтралізувати відволікаючі фактори, які, наприклад, дитина легко проігнорувала б.
Чи означає це, що LLM не може розмірковувати? Можливо. Ніхто поки що не дає точної відповіді, тому що немає чіткого розуміння того, що відбувається. Можливо, LLM «розмірковують», але способом, який ми поки що не розпізнаємо або не можемо контролювати. У будь-якому випадку ця тема відкриває захоплюючі перспективи подальших досліджень.
