Intel представила оптимізацію бібліотеки машинного навчання PyTorch для використання на своїх графічних процесорах Arc “Alchemist”. Нове розширення Intel Extension for PyTorch (IPEX) розроблено спеціально для обладнання Intel і може значно поліпшити продуктивність.
У блозі Intel також описано, як запустити модель Llama 2 на відеокарті Arc “Alchemist” A770. Рекомендується використовувати 16-гігабайтну версію A770, оскільки модель вимагає 14 ГБ оперативної пам’яті GPU. Це є відповіддю на інструмент NVIDIA Chat with RTX, який дозволяє користувачам GeForce з графічними процесорами RTX запускати моделі PyTorch-LLM на своїх відеокартах.
Відмінність полягає в тому, що NVIDIA використовує INT4-квантовані версії моделей, щоб заощадити VRAM, в той час як Intel використовує більш точну FP16-версію. У блозі Intel представлені інструкції з налаштування Llama 2 inference з PyTorch (IPEX) на A770.
Незважаючи на високу ціну в 700 доларів, PlayStation 5 Pro демонструє успішний старт продажів. У…
Компанія Elevation Lab анонсувала запуск TimeCapsule, унікального і простого рішення для продовження часу роботи Apple…
77-дюймовий прозорий телевізор Signature OLED T від LG, представлений на виставці CES 2024, надійшов у…
Аналітик заявив, що Apple, ймовірно, не зможе представити свої "розумні" окуляри AR протягом найближчих 3-5…
Останніми роками флагманські Android-смартфони відмовились від вигнутих екранів, хоча Samsung була першою, хто ввів цю…
Серія відеороликів, опублікованих на TikTok, стверджує, що функція AirDrop від Apple може бути використана для…