Intel Xeon, Core™ Ultra i AI PC ubrzavaju GenAI radna opterećenja na nove razine

Kao dio svoje misije da AI donese posvuda, Intel značajno ulaže u softver i cjelokupan AI ekosustav kako bi osigurao da su svi proizvodi spremni za najnovije inovacije u dinamičnom AI prostoru. U podatkovnom centru procesori Intel Gaudi i Intel Xeon s ubrzanjem Intel® Advanced Matrix Extension (Intel® AMX) korisnicima daju mogućnosti za ispunjavanje dinamičnih i širokih zahtjeva koji se pred njih postavljaju svakodnevno i u sve večoj mjeri.

Procesori Ιntel Core Ultra i grafički proizvodi Intel Arc pružaju i lokalno razvojno sredstvo i implementaciju na milijune uređaja uz podršku za sveobuhvatne softverske okvire i alate, uključujući PyTorch i Intel® Extension za PyTorch® koji se koristi za lokalno istraživanje i razvoj proizvoda kao i OpenVINO™ alat za razvoj novih modela te njihovo međudjelovanje.

Intelovo početno testiranje i rezultati performansi za modele Llama 3 8B i 70B koriste softver otvorenog koda, uključujući PyTorch, DeepSpeed, Intel Optimum Habana knjižnicu i Intel Extension za PyTorch za pružanje najnovijih optimizacija softvera.

Intel Xeon procesori rješavaju zahtjevna end-to-end AI radna opterećenja, a Intel dodatno ulaže u optimizaciju LLM rezultata kako bi se smanjilo kašnjenje. Intel® Xeon® 6 procesori s Performance jezgrama  (kodnog naziva Granite Rapids) pokazuju dvostruko poboljšanje smanjenja latencije uz  Llama 3 8B u usporedbi s Intel® Xeon® procesorima 4. generacije i mogućnost pokretanja većih jezičnih modela, poput Llama 3 70B, ispod 100 ms po generiranom tokenu.

Intel Core Ultra i Intel Arc Graphics isporučuju impresivne performanse za Llama 3. U početnom krugu testiranja, procesori Intel Core Ultra već generiraju brzine čitanja veće od uobičajenih ljudskih brzina. Nadalje, Intel® Arc™ A770 GPU ima Xe Matrix eXtensions (XMX) AI ubrzanje i 16 GB namjenske memorije za pružanje iznimnih performansi za LLM radna opterećenja.

Za više informacija posjetite www.intel.com