Google презентувала нову архітектуру нейронних мереж під назвою Titans, яка, за словами її розробників, дозволяє системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довготривалу пам’ять, подібно до людської.
Що варто знати
Проєкт Titans створює команда Google під керівництвом Алі Бехруза, Пейліна Чжуна і Вахаба Міррокні. Основна концепція архітектури полягає в об’єднанні короткочасної та довготривалої пам’яті в одній моделі, що дає змогу подолати обмеження традиційних підходів.
Нові можливості Titans демонструють високі результати в задачах мовного моделювання, аналізу часових рядів, геноміки та логічних операцій, які вимагають довготривалого запам’ятовування даних. Одна з ключових характеристик Titans — здатність обробляти мільйони точок даних без втрати точності. Архітектура пам’яті адаптивна: вона визначає, які дані варто зберегти, а які можна ігнорувати. Це рішення було натхнене принципами роботи людської пам’яті, що поєднує короткострокову увагу до поточної ситуації з довготривалим зберіганням складних спогадів. У Titans цей механізм реалізовано через додатковий нейронний модуль, який відповідає за довготривале зберігання даних.
Для вирішення різноманітних завдань Google створила три варіанти Titans:
- MAC (Memory as Context) — орієнтований на забезпечення контексту.
- MAG (Memory as Gating) — для адаптивного керування пам’яттю.
- MAL (Memory as a Layer) — інтеграція пам’яті як окремого шару.
Ці моделі показали себе ефективними в розширених задачах із довгим контекстом та логічними операціями, перевершуючи традиційні та сучасні архітектури.
Для порівняння, ChatGPT обробляє до 4 тисяч токенів у рамках однієї сесії, після чого пам’ять очищується, і точність падає. Titans здатні працювати з контекстом обсягом до 2 мільйонів токенів, що дозволяє аналізувати великі обсяги інформації, наприклад, цілі книги.
