Google презентувала нову архітектуру нейронних мереж під назвою Titans, яка, за словами її розробників, дозволяє системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довготривалу пам’ять, подібно до людської.
Проєкт Titans створює команда Google під керівництвом Алі Бехруза, Пейліна Чжуна і Вахаба Міррокні. Основна концепція архітектури полягає в об’єднанні короткочасної та довготривалої пам’яті в одній моделі, що дає змогу подолати обмеження традиційних підходів.
Нові можливості Titans демонструють високі результати в задачах мовного моделювання, аналізу часових рядів, геноміки та логічних операцій, які вимагають довготривалого запам’ятовування даних. Одна з ключових характеристик Titans — здатність обробляти мільйони точок даних без втрати точності. Архітектура пам’яті адаптивна: вона визначає, які дані варто зберегти, а які можна ігнорувати. Це рішення було натхнене принципами роботи людської пам’яті, що поєднує короткострокову увагу до поточної ситуації з довготривалим зберіганням складних спогадів. У Titans цей механізм реалізовано через додатковий нейронний модуль, який відповідає за довготривале зберігання даних.
Для вирішення різноманітних завдань Google створила три варіанти Titans:
Ці моделі показали себе ефективними в розширених задачах із довгим контекстом та логічними операціями, перевершуючи традиційні та сучасні архітектури.
Для порівняння, ChatGPT обробляє до 4 тисяч токенів у рамках однієї сесії, після чого пам’ять очищується, і точність падає. Titans здатні працювати з контекстом обсягом до 2 мільйонів токенів, що дозволяє аналізувати великі обсяги інформації, наприклад, цілі книги.
Apple, за чутками, готує до випуску iPhone 17 Air – найтонший смартфон у її історії.…
На початку року Google несподівано випустила оновлення прошивки для Pixel 4a, після якого багато користувачів…
Китайський технологічний гігант Alibaba анонсував нову модель штучного інтелекту, здатну розпізнавати емоції людей, що може…
Компанія HTC, схоже, вирішила нагадати себе на ринку смартфонів, представивши нову ультрабюджетну модель Wildfire E5…
На Dimensity Developer Conference 2025 у Шеньчжені розробники проведуть свій щорічний форум, на якому очікується…
Напередодні офіційного анонсу нових відеокарт NVIDIA GeForce RTX 5060, в інтернет вибігли дані про вартість…