Intel представила оптимізацію бібліотеки машинного навчання PyTorch для використання на своїх графічних процесорах Arc “Alchemist”. Нове розширення Intel Extension for PyTorch (IPEX) розроблено спеціально для обладнання Intel і може значно поліпшити продуктивність.
У блозі Intel також описано, як запустити модель Llama 2 на відеокарті Arc “Alchemist” A770. Рекомендується використовувати 16-гігабайтну версію A770, оскільки модель вимагає 14 ГБ оперативної пам’яті GPU. Це є відповіддю на інструмент NVIDIA Chat with RTX, який дозволяє користувачам GeForce з графічними процесорами RTX запускати моделі PyTorch-LLM на своїх відеокартах.
Відмінність полягає в тому, що NVIDIA використовує INT4-квантовані версії моделей, щоб заощадити VRAM, в той час як Intel використовує більш точну FP16-версію. У блозі Intel представлені інструкції з налаштування Llama 2 inference з PyTorch (IPEX) на A770.
