Intel представила оптимізацію бібліотеки машинного навчання PyTorch для використання на своїх графічних процесорах Arc “Alchemist”. Нове розширення Intel Extension for PyTorch (IPEX) розроблено спеціально для обладнання Intel і може значно поліпшити продуктивність.
У блозі Intel також описано, як запустити модель Llama 2 на відеокарті Arc “Alchemist” A770. Рекомендується використовувати 16-гігабайтну версію A770, оскільки модель вимагає 14 ГБ оперативної пам’яті GPU. Це є відповіддю на інструмент NVIDIA Chat with RTX, який дозволяє користувачам GeForce з графічними процесорами RTX запускати моделі PyTorch-LLM на своїх відеокартах.
Відмінність полягає в тому, що NVIDIA використовує INT4-квантовані версії моделей, щоб заощадити VRAM, в той час як Intel використовує більш точну FP16-версію. У блозі Intel представлені інструкції з налаштування Llama 2 inference з PyTorch (IPEX) на A770.
Глава досліджень Google Йоссі Матіас переконаний, що програмування не втрачає актуальності навіть в епоху стрімкого…
Фахівці порталу iFixit розібрали неттоп Apple Mac mini, який нещодавно вийшов, з чіпом M4, щоб…
Новим продуктом Apple може стати незвичайний планшет, який потрібно буде прикріплювати до стіни. Як пише…
Компанія Samsung може випустити свою нову флагманську лінійку Galaxy S25 раніше, ніж очікувалося, на що…
Аналітик TFI Securities Мін-Чі Куо поділився новими подробицями про майбутні навушники Apple AirPods. За його…
Apple раніше підтвердила, що iOS 18.2 вийде у грудні, але тепер з'явилася інформація про конкретну…