Intel представила оптимізацію бібліотеки машинного навчання PyTorch

Intel представила оптимізацію бібліотеки машинного навчання PyTorch для використання на своїх графічних процесорах Arc “Alchemist”. Нове розширення Intel Extension for PyTorch (IPEX) розроблено спеціально для обладнання Intel і може значно поліпшити продуктивність.

У блозі Intel також описано, як запустити модель Llama 2 на відеокарті Arc “Alchemist” A770. Рекомендується використовувати 16-гігабайтну версію A770, оскільки модель вимагає 14 ГБ оперативної пам’яті GPU. Це є відповіддю на інструмент NVIDIA Chat with RTX, який дозволяє користувачам GeForce з графічними процесорами RTX запускати моделі PyTorch-LLM на своїх відеокартах.

Відмінність полягає в тому, що NVIDIA використовує INT4-квантовані версії моделей, щоб заощадити VRAM, в той час як Intel використовує більш точну FP16-версію. У блозі Intel представлені інструкції з налаштування Llama 2 inference з PyTorch (IPEX) на A770.