Intel Arc-GPUs werden jetzt in der Intel-Erweiterung für PyTorch unterstützt und steigern so die KI-, Deep-Learning- und LLM-Fähigkeiten

GPUs der Arc A-Serie werden jetzt in der Intel Extension for PyTorch (IPEX) unterstützt und bieten schnellere KI-Funktionen für Deep Learning und LLMs.

Die Intel-Erweiterung für PyTorch nutzt jetzt alle Vorteile der XMX-KI-Hardware an Bord der GPUs der Arc A-Serie

Die GPUs der Arc A-Serie von Intel, die auf der Alchemist-Architektur basieren, verfügen über ein enormes On-Hardware-Potenzial, das Tag für Tag ausgeschöpft wird. Die Softwareabteilung hat bei der Optimierung der Spieleleistung dieser GPUs großartige Arbeit geleistet und konzentriert sich nun auf den aufstrebenden KI-Markt, wo die auf diesen Chips integrierten XMX-Einheiten voll ausgenutzt werden.

In einem Update hat Intel bestätigt, dass IPEX (Intel Extension for PyTorch) jetzt Unterstützung für GPUs der Arc A-Serie auf Windows-, Linux- und WSL2-Plattformen bietet. Mit dieser neu hinzugefügten Unterstützung würden Intels GPUs der A-Serie nicht nur die Beschleunigung von Deep-Learning-Modellen wie LLMs steigern, sondern auch neue Optimierungen für Intel-Hardware mit sich bringen, was eine schnellere Leistung ermöglicht und Benutzern die Möglichkeit gibt, PyTorch-Modelle auf der Alchemist-GPU-Reihe auszuführen .

Für diejenigen unter Ihnen, die über eine Intel Arc A-Series-GPU verfügen und die Vorteile ihrer XMX-KI-Engine in PyTorch nutzen möchten: Das Unternehmen hat hier einen vollständigen Blog über die Ausführung der Llama 2-Schnittstelle unter Windows und WSL2 veröffentlicht. Laut Intels KI-Softwareteam:

• GPUs eignen sich gut für LLM-Workloads (Large Language Model), da GPUs sich durch massive Datenparallelität und hohe Speicherbandbreite auszeichnen. Bei den Grafikkarten der Arc A-Serie, einschließlich der Arc A770-Grafik, handelt es sich um Hochleistungsgrafiken mit bis zu 512 Xe Matrix Extensions (XMX)-Engines, die die Möglichkeit zur beschleunigten Ausführung von Deep-Learning-Modellen, einschließlich LLMs, bieten.
• IPEX erweitert PyTorch um die neuesten Leistungsoptimierungen für Intel-Hardware und nutzt die Vorteile von XMX Engines auf diskreten Intel-GPUs.
• Die IPEX-Erweiterung für PyTorch ermöglicht das PyTorch
• Die neueste Version von IPEX (v2.1.10+xpu) unterstützt offiziell Arc A-Series Graphics auf WSL2, nativem Windows und nativem Linux.
• Demonstrierte die Ausführung der Llama 2 7B- und Llama 2-Chat 7B-Inferenz auf Arc A770 Graphics unter Windows und WSL2 über Ipex.
• Um Llama 2 oder andere PyTorch-Modelle auf GPUs der Arc A-Serie auszuführen, fügen Sie einfach ein paar zusätzliche Codezeilen hinzu importieren intel_extension_for_pytorch und .to(„xpu“) um Modell und Daten auf das Gerät zu verschieben, um sie auf der GPU der Arc A-Serie auszuführen.

Wir haben kürzlich einen Artikel veröffentlicht, in dem Intels ehemaliger GPU-Chef Raja Koduri zitiert wird, der erwähnt, dass Client- und Gaming-PC-GPUs eine entscheidende Rolle für den KI-Erfolg spielten. Die Ausweitung des Supports für seine GPUs der Arc A-Serie durch Intel ist eine großartige Sache für das Marktsegment, in dem NVIDIA und AMD mit der Bereitstellung schneller KI-Unterstützung auf verbraucherorientierter Hardware eine Vorreiterrolle spielen.