Intel представила оптимізацію бібліотеки машинного навчання PyTorch для використання на своїх графічних процесорах Arc “Alchemist”. Нове розширення Intel Extension for PyTorch (IPEX) розроблено спеціально для обладнання Intel і може значно поліпшити продуктивність.
У блозі Intel також описано, як запустити модель Llama 2 на відеокарті Arc “Alchemist” A770. Рекомендується використовувати 16-гігабайтну версію A770, оскільки модель вимагає 14 ГБ оперативної пам’яті GPU. Це є відповіддю на інструмент NVIDIA Chat with RTX, який дозволяє користувачам GeForce з графічними процесорами RTX запускати моделі PyTorch-LLM на своїх відеокартах.
Відмінність полягає в тому, що NVIDIA використовує INT4-квантовані версії моделей, щоб заощадити VRAM, в той час як Intel використовує більш точну FP16-версію. У блозі Intel представлені інструкції з налаштування Llama 2 inference з PyTorch (IPEX) на A770.
ПРОДОВЖЕННЯ ПІСЛЯ РЕКЛАМИ
Нещодавнє оновлення iPad Pro стало одним із найбільш значущих за останні роки: яблучні планшети отримали передові процесори…
На початку цього року китайська компанія OnePlus випустила на світовий ринок свій новий флагманський смартфон…
Хоча HONOR 200 Lite вже офіційно представлений, ми також очікуємо на появу ще як мінімум…
Нове зображення одержано камерою темної енергії (DECam), встановленою на телескопі Бланко в Чилі. На кадрі…
Samsung, швидше за все, випустить Galaxy S25 на початку наступного року, і очікується, що телефон…
Минулого тижня Asus розкрила факт швидкого анонсу кишенькової консолі ROG Ally X, запланований на 2…