Apple розробила проривний метод робіт LLM на iPhone

ПРОДОВЖЕННЯ ПІСЛЯ РЕКЛАМИ

Apple GPT у вашій кишені? Так, це може стати реальністю раніше, ніж ви вважаєте. Дослідники Apple ШІ стверджують, що їм вдалося зробити ключовий прорив у розгортанні великих мовних моделей (LLM) на iPhone та інших пристроях Apple з обмеженим об’ємом пам’яті завдяки винаходу інноваційної техніки використання флеш-пам’яті.

LLM та обмеження пам’яті

Чат-боти на основі LLM, такі як ChatGPT, неймовірно вимогливі до обсягу даних та пам’яті. Зазвичай для їхньої роботи потрібний величезний обсяг пам’яті, що є проблемою для таких пристроїв, як iPhone, які мають обмежені ресурси. Щоб вирішити цю проблему, дослідники Apple розробили нову техніку, яка використовує флеш-пам’ять — ту саму, в якій зберігаються ваші додатки та фотографії — для зберігання даних моделі ШІ.

Зберігання ІІ на флеш-пам’яті

У новій науковій статті [ PDF ] під назвою «LLM у флеш-пам’яті: ефективне виведення великих мовних моделей при обмеженій пам’яті» автори відзначають, що флеш-пам’ять у мобільних пристроях є більш поширеною, ніж оперативна пам’ять, що традиційно використовується для запуску LLM. Їх метод спритно обходить це обмеження, використовуючи дві ключові техніки, які мінімізують передачу даних та максимізують пропускну спроможність флеш-пам’яті:

ПРОДОВЖЕННЯ ПІСЛЯ РЕКЛАМИ

1. Windowing : Вважайте це методом переробки. Замість того, щоб щоразу завантажувати нові дані, модель ШІ повторно використовує частину вже оброблених даних. Це знижує потребу у постійному зверненні до пам’яті, роблячи процес швидшим та плавнішим.
2. Row-Column Bundling : Ця техніка схожа на читання книги великими шматками, а не за одним словом за раз. Більш ефективне угруповання даних дозволяє швидше зчитувати їх із флеш-пам’яті, прискорюючи здатність ШІ розуміти та генерувати інформацію.

Поєднання цих методів дозволяє ШІ-моделям працювати вдвічі швидше, ніж доступна пам’ять iPhone, йдеться у статті. Це означає 4-5-кратне збільшення швидкості на стандартних процесорах (CPU) та вражаюче 20-25-кратне прискорення на графічних процесорах (GPU). “Цей прорив особливо важливий для розгортання передових LLM в умовах обмежених ресурсів, тим самим розширюючи їх застосовність і доступність”, – пишуть автори.

Швидший ІІ в iPhone

Прорив у ефективності штучного інтелекту відкриває нові можливості для майбутніх iPhone, такі як більш просунуті можливості Siri, переклад мови в реальному часі, а також складні функції фотографії та доповненої реальності, що базуються на штучному інтелекті. Технологія також створює основу для запуску в iPhone складних ШІ-асистентів і чат-ботів, над чим, за чутками, Apple вже працює.

Робота Apple над генеративним штучним інтелектом може бути зрештою впроваджена в її голосовий помічник Siri. У лютому 2023 року Apple провела саміт із штучного інтелекту і розповіла співробітникам про свою роботу над великою мовною моделлю. За даними Bloomberg, компанія прагне створити розумнішу версію Siri, глибоко інтегровану зі штучним інтелектом. Apple планує оновити спосіб взаємодії Siri з додатком «Повідомлення», що дозволить користувачам ефективніше відповідати на складні питання та автозаповнювати пропозиції. Крім того, за чутками, Apple планує додати штучний інтелект якомога більше своїх додатків.

Apple GPT

За чутками, Apple розробляє власну генеративну модель штучного інтелекту під назвою Ajax. Розроблена для того, щоб змагатися з такими моделями, як OpenAI GPT-3 та GPT-4, Ajax оперує 200 мільярдами параметрів, що говорить про високий рівень складності та можливостей у розумінні та генерації тексту. Відомий як Apple GPT, Ajax покликаний уніфікувати розробку машинного навчання в Apple, що передбачає ширшу стратегію, спрямовану на більш глибоку інтеграцію ШІ в екосистему компанії.

За останніми даними, Ajax вважається більш функціональним, ніж попереднє покоління ChatGPT 3.5. Однак є припущення, що у вересні 2023 нові моделі OpenAI могли перевершити можливості Ajax.

Видання The Information та аналітик Джефф Пу стверджують, що Apple представить якусь функцію генеративного штучного інтелекту на iPhone та iPad приблизно наприкінці 2024 року, коли вийде iOS 18. У жовтні Пу заявив, що в 2023 році Apple побудує кілька сотень серверів для штучного інтелекту, а 2024 року їх стане ще більше. Як повідомляється, Apple запропонує поєднання хмарного ШІ та ШІ з обробкою даних на пристрої.