Qualcomm хоче додати унікальні інструменти штучного інтелекту у Android-смартфони

На Mobile World Congress 2024 компанія Qualcomm поповнить свій портфель трюків зі штучним інтелектом для телефонів на базі кремнію серії Snapdragon для телефонів на базі Android. Чіпмейкер вже продемонстрував деякі вражаючі можливості ІІ для флагмана Snapdragon 8 Gen 3, такі як голосове редагування мультимедіа, генерація зображень на пристрої за допомогою Stable Diffusion і розумніший віртуальний помічник, побудований на основі великих мовних моделей від таких компаній, як Meta.

Сьогодні компанія додає до цих суперздібностей ІІ ще більше можливостей. Перше – це можливість запускати на смартфоні великий помічник з мови та зору (LLaVa). Уявіть, що це чатбот подібний до ChatGPT, який отримав можливості Google Lens. Таким чином, рішення Qualcomm може не тільки приймати текстове введення, а й обробляти зображення.

Наприклад, ви можете натиснути на картинку із зображенням дошки з м’ясом та поставити на її основі запитання. ІІ-помічник, заснований на великій мультимодальній моделі (LMM), яка може обробляти більше 7 мільярдів параметрів, розповість вам про всі види фруктів, сирів, м’яса та горіхів на дошці, зображеній на вхідному зображенні, показаному нижче.

Він також може обробляти такі запити, щоб ви могли вести плавну розмову в режимі “туди-сюди”. Тепер ChatGPT має мультимодальні можливості, а це означає, що інструмент OpenAI може обробляти і зображення. Однак є одна істотна відмінність.

Такі продукти, як ChatGPT і Copilot, як і раніше, прив’язані до хмарної архітектури, тобто ваші дані обробляються на віддалених серверах. Qualcomm прагне обробки даних на пристрої. Все відбувається на вашому телефоні, а це означає, що весь процес відбувається швидше, і ризик вторгнення у приватне життя мінімальний.

“Цей LMM працює на пристрої з швидкодією швидкістю передачі токенів, що призводить до підвищення конфіденційності, надійності, персоналізації та вартості”, – стверджує Qualcomm. Чи обіцяний віртуальний помічник Qualcomm на базі LLaVa випускатиметься у вигляді окремої програми або за неї доведеться платити, поки офіційно не підтверджено.

Наступний анонс від Qualcomm занурює у творчу область створення та маніпулювання зображеннями. Нещодавно Qualcomm продемонструвала найшвидшу у світі генерацію тексту зображення на телефоні за допомогою технології Stable Diffusion. Сьогодні компанія вперше представила генерацію зображень за допомогою технології LoRA.

LoRA використовує інший підхід до створення зображень, ніж звичайні генеративні ІІ інструменти, такі як Dall.E. LoRA, скорочення від Low-Rank Adaptation – це техніка, розроблена компанією Microsoft. Навчання моделі штучного інтелекту може бути досить дорогим, вимагати великих затримок та бути особливо вимогливим до апаратного забезпечення.

LoRA дозволяє значно зменшити вагу моделі, що досягається за рахунок фокусування лише на певних сегментах моделі та зменшення кількості параметрів для навчання. При цьому знижуються вимоги до пам’яті, процес стає швидшим, а кількість часу та зусиль, необхідних для адаптації моделі “текст-зображення”, також значно скорочується.

Згодом метод дистиляції LoRA був застосований до моделі Stable Diffusion для створення зображень з текстових підказок. Завдяки підвищенню ефективності та легкої адаптації моделей на основі LoRA вони розглядаються як підходящий шлях для смартфонів. Qualcomm, безумовно, так вважає, і навіть компанія MediaTek, що конкурує, застосувала це рішення для генеративних трюків ІІ у своєму флагманському чіпі Dimensity 9300.

На виставці MWC 2024 компанія Qualcomm продемонструє ще кілька AI-трюків, деякі з яких вже з’явилися у Samsung Galaxy S24 Ultra. Серед них – можливість розширити полотно зображення за допомогою генеративної заливки AI та генерація відео на основі AI. Останнє дуже амбітне, особливо після того, як OpenAI вдалося досягти успіху за допомогою Sora. Цікаво буде подивитися, як Qualcomm вдасться перенести його на смартфони.