Компанія Apple готує інноваційний метод запуску мовних моделей на iPhone, який дасть змогу зробити величезний якісний стрибок уперед. Про це пише MacRumors.
Чутки про розробку Apple GPT вже давно розбурхують уми фанатів, однак для роботи мовних моделей на смартфонах все ще зберігається одне велике обмеження – пам’ять. Нейромережі на кшталт ChatGPT вимагають великої кількості пам’яті для зберігання кешу та архівів даних, але обсяг оперативної пам’яті iPhone навіть близько не дозволяє це реалізувати. Тепер інженери Apple придумали рішення.
Згідно з джерелом, у майбутніх iPhone буде реалізовано використання вбудованого флеш-накопичувача для розгортання великих мовних моделей прямо на смартфоні. Apple використовує два ключові методи для цього:
- Повторне використання раніше оброблених даних замість повної обробки масиву для кожного запиту.
- Об’єднання рядків коду під час роботи, подібно до читання книги великими частинами, а не по одному слову. Групування даних дасть змогу прискорити здатність ШІ розуміти і генерувати мову.
Описані вище підходи дадуть змогу використовувати для Apple GPT щонайменше вдвічі більше пам’яті, ніж зазвичай пропонує ОЗП iPhone. Як наслідок, робота ШІ на айфоні прискориться в 4-5 разів на обчислювальних і до 25 разів на графічних ядрах.
Усе це посприяє величезному стрибку в роботі нейромереж на iPhone і подарує користувачам такий досвід, якого вони ніколи не відчували. Кажуть, повністю переосмислена нейро-Siri здивує нас уже в iOS 18.
