Компанія Apple домовилася про співпрацю з найбільшим виробником відеочіпів NVIDIA. Усе заради значного підвищення продуктивності великих мовних моделей (LLM) шляхом упровадження нової технології генерації тексту, що забезпечує суттєве підвищення швидкості для застосунків зі ШІ.
Що ще відомо
Раніше цього року Apple відкрила вихідний код до Recurrent Drafter (ReDrafter), підходу, що об’єднує методи променевого пошуку та увагу до динамічного розгалуження для прискорення генерації тексту. Променевий пошук досліджує кілька потенційних послідовностей тексту одночасно для отримання найкращих результатів, у той час як динамічне розгалуження організовує та видаляє надлишкові перекриття між цими послідовностями для підвищення ефективності.
Тепер Apple інтегрувала цю технологію у фреймворк NVIDIA TensorRT-LLM, який оптимізує LLM, що працюють на графічних процесорах NVIDIA. Виробник iPhone вже зазначає, що технологія досягла “передової продуктивності”, і змогла збільшити швидкість генерації токенів у 2,7 раза за секунду під час тестів із моделлю з десятків млрд параметрів. Apple стверджує, що покращена продуктивність не лише знижує затримку, яку користувач сприймає, а й призводить до зниження використання графічного процесора та енергоспоживання під час роботи з нейромережами.
Чому це важливо для звичайних користувачів? Спробуйте погенерувати зображення на iPhone 15 Pro, і ви зрозумієте, що смартфон гріється занадто сильно, а обробляє інформацію досить довго. І це тільки базові фічі Apple Intelligence. З їх подальшим розвитком актуальні гаджети грітимуться ще більше, якщо не оптимізувати великі мовні моделі LLM.
