Штучним інтелект стає розумнішим: чат-бот на базі GPT-4 пройшов тест Тьюринга

У сучасному світі люди взаємодіють зі штучним інтелектом в інтернеті не лише частіше, ніж будь-коли, але й частіше, ніж їм здається. Нейронні мережі стають все більш просунутими, і відрізнити їх від людини не так просто. Це підтверджує дослідження, проведене Інститутом інженерів електротехніки та електроніки (IEEE). У рамках цього дослідження респондентам пропонувалося поспілкуватися з чотирма агентами, серед яких була лише одна людина.

Метою дослідження було визначити, чи зможуть учасники відрізнити синтетичного співрозмовника від живої людини. Це дослідження є сучасною інтерпретацією тесту, запропонованого знаменитим математиком Аланом Т’юрінгом ще в 1950 році. Тест вважається пройденим, якщо ШІ-алгоритм у спілкуванні з людиною може змусити її думати, що розмову з нею веде інша людина.

У тестуванні взяли участь 500 осіб, які деякий час по черзі розмовляли з чотирма агентами, одним з яких була людина, а ще три — програмні продукти, такі як написаний у 60-ті роки минулого століття віртуальний співрозмовник ELIZA та сучасні чат-боти, побудовані на базі великих мовних моделей GPT-3.5 та GPT-4 (остання також є основою популярного ШІ-бота ChatGPT).

Респонденти по п’ять хвилин розмовляли з кожним із агентів, після чого вони мали сказати, з ким, на їхню думку, вони розмовляли — з людиною чи чат-ботом. У результаті було встановлено, що 54% ​​учасників тестування прийняли GPT-4 за особу. ELIZA, яка не має в арсеналі великої мовної моделі та архітектури нейромережі, була визнана людиною лише у 22% випадків. Алгоритм на базі GPT-3.5 визнали людиною в 50% випадків, а людину впізнали у 67% випадків.

«Машини можуть міркувати, змішуючи воєдино правдоподібні обґрунтування речей постфактуму, як це роблять люди. Вони можуть бути схильні до когнітивних упереджень, ними можна маніпулювати, і вони стають все більш оманливими. Все це означає, що в ШІ-системах виражаються людські недоліки і чудасії, що робить їх більш схожими на людину, ніж попередні подібні рішення, які мали в арсеналі лише список готових відповідей наперед», — прокоментував результати роботи один із дослідників.