Intel Gaudi 2-Beschleuniger zeigen in MLPerf 4.0 GenAI-Benchmarks wettbewerbsfähige Leistung pro Dollar gegenüber NVIDIA H100

Intel hat gerade seine neueste Version veröffentlicht MLPerf v4.0 Die Leistungszahlen beziehen sich auf die Gaudi 2-Beschleuniger und die Xeon „Emerald Rapids“-CPUs der 5. Generation, wobei erstere im Vergleich zur H100-GPU von NVIDIA eine starke Leistung pro Dollar aufweisen.

Intel Gaudi 2 AI Accelerator ist die einzige „Benchmark-Alternative“ zu NVIDIAs H100-GPUs für GenAI, starkes Perf/$ in MLPerf v4.0-Ergebnissen

Intel optimiert seit einiger Zeit die Leistung seiner Gaudi-Beschleunigerreihe für KI-Workloads mithilfe seines OneAPI-Frameworks. Das Ergebnis dieser fortlaufenden Softwarearbeit wurde in den neuesten Leistungszahlen von MLPerf v4.0 präsentiert, die die GenAI-Fähigkeiten in Workloads wie Llama-70B und Stable Diffusion XL verdeutlichen, bei denen Intels Lösungen im Vergleich zu konkurrierenden Chips eine wettbewerbsfähige Leistung bieten. Kürzlich stellte das Unternehmen vor, dass Gaudi 2-Beschleuniger im Vergleich zu NVIDIAs Lösungen in den neuesten GenAI-Workloads wie Stable Diffusion und Llama 2 LLMs schneller waren. Mehr dazu hier.

Für Vergleiche verwendete Intel eine x8-Gaudi-2-Beschleunigerkonfiguration mit x8-NVIDIA-H100-GPUs für FP8- und INT8-Leistungsbenchmarking. In Bezug auf die relative Leistung liegt der NVIDIA H100 zweifellos weit vor den Intel Gaudi 2-Beschleunigern und bietet bis zu 3,35-fache Steigerungen bei der Server- und bis zu 2,76-fache Steigerungen bei der Offline-Generierung. Wo sich das Spiel jedoch völlig zugunsten von Intel verschiebt, ist das Leistungsverhältnis, bei dem die Gaudi 2-Beschleuniger zu einem sehr konkurrenzfähig positionierten Produkt werden und Intel Gaudi 2 als die einzige „Benchmark-Alternative“ zu NVIDIAs H100 für GenAI-Workloads bezeichnet.

In Bezug auf die Leistung pro Dollar bietet der Intel Gaudi 2 AI-Beschleuniger ein um 33 % besseres Preis-Leistungs-Verhältnis im Vergleich zur NVIDIA H100-Lösung, wobei der NVIDIA H100 Gaudi 2 nur in Llama-70B (Server) übertrifft. Intel ist außerdem kürzlich eine Partnerschaft mit Qualcomm und Google eingegangen, um NVIDIAs CUDA-Dominanz in der KI durch oneAPI zu bekämpfen, was in der Zukunft zu weiteren Verbesserungen führen kann. Die KI-Beschleuniger Gaudi 3 und Falcon Shores der nächsten Generation werden zum Zeitpunkt ihrer Einführung über ein solides Software-Framework verfügen, das sie unterstützt.

Intel teilt auch die MLPerf v4.0-Ergebnisse für seine skalierbare Xeon-Familie der 5. Generation mit dem Codenamen Emerald Rapids. Wenn Sie die Chips mit der „Sapphire Rapids“-Familie der 4. Generation vergleichen, können Sie bei Workloads wie 3dUnet, BERT, RNN-T, ResNet50, RetinaNet, DLRMv2, GPT-J. Darüber hinaus haben Intels OEM-Partner auch ihre Ergebnisse für Xeon-CPUs der 5. Generation für eine Reihe gemischter Arbeitslasten eingereicht. Zu diesen Partnern gehören Dell Technologies, Quanta Computer, Supermicro, Wiwynn und CISCO.

Die Highlights dieser Benchmarks sind:

Intel Gaudi 2 Beschleuniger

• Die EINZIGE Benchmark-Alternative zu H100 für GenAI
• Stable Diffusion und Llama-70B-Benchmarks zeigen Gaudi2-Preis-Leistungs-Vorteile gegenüber H100
• Die Abdeckung des Intel Guadi-Modells schreitet weiter voran und nutzt SOTA-Entwicklungsansätze wie TGI, die bei der Llama-Einreichung verwendet werden

Xeon-Prozessoren der 5. Generation

• Intel bleibt der einzige Server-CPU-Anbieter, der MLPerf-Ergebnisse übermittelt
• Die Xeon-Ergebnisse der 5. Generation verbesserten sich im Vergleich zu den Xeon-Ergebnissen der 4. Generation in MLPerf Inference v3.1 um einen Geo-Mittelwert von 1,42
• Die stetig steigende Anzahl an Einreichungen und die wachsende Partnerliste sind klare Indikatoren dafür, dass Endkunden die Auslastung ihrer vorhandenen CPU-Infrastruktur maximieren möchten

Diese MLPerf v4.0-Benchmarks zeigen, dass Intel sein KI-Ökosystem sehr ernst nimmt und die geleistete Arbeit erste Früchte trägt. KI wird im Moment ausschließlich von NVIDIA dominiert, aber mit den Bemühungen von Intel könnte es in den nächsten Jahren noch viel hitziger werden.