Intel macht seine NPU-Beschleunigungsbibliothek zu einem Open-Source-Asset, das es Entwicklern ermöglicht, KI-Anwendungen zu optimieren

Intel hat seine NPU-Beschleunigungsbibliothek endlich als „Open-Source“ veröffentlicht, sodass Entwickler und Enthusiasten ihre Anwendungen so optimieren können, dass sie optimal mit den KI-Engines von Intel funktionieren.

Intels Open-Sourcing von NPU-Bibliotheken zeigt, dass dedizierte KI-Engines eine große Zukunft vor sich haben

Die Nachricht kommt von Intels Tech-Evangelist Tony Mongkolsmai, der als Erster die neue Open-Source-Bibliothek des Unternehmens enthüllte.

Mit diesem Schritt wird die NPU-Beschleunigungsbibliothek Entwicklern helfen, von NPUs zu profitieren, die in CPU-Reihen wie der „Core Ultra“-Serie von Meteor Lake vorhanden sind. Es basiert auf Python und vereinfacht die Entwicklung durch die Bereitstellung einer High-Level-Schnittstelle und unterstützt beliebte Frameworks wie TensorFlow und PyTorch, sodass Entwickler die Funktionen der Bibliothek nutzen können, um KI-bezogene Aufgaben effizienter zu gestalten.

Entwickler, die danach gefragt haben, können sich die neue Open-Source-Bibliothek „Intel NPU Acceleration“ ansehen. Ich habe es gerade auf meinem MSI Prestige 16 AI Evo-Rechner ausprobiert (diesmal Windows, aber die Bibliothek unterstützt auch Linux) und nach der GitHub-Dokumentation konnte ich TinyLlama ausführen … pic.twitter.com/UPMujuKGGT

— Tony Mongkolsmai (@tonymongkolsmai) 1. März 2024

Tony hatte die NPU-Beschleunigungsbibliothek auf einem MSI Prestige 16 AI Evo-Laptop ausgeführt, der über Intel Core Ultra-CPUs verfügt. Er konnte die LLM-Modelle TinyLlama und Gemma-2b-it auf dem Rechner ohne Leistungsunterbrechungen ausführen, was auf das Potenzial der NPUs von Intel hinweist und zeigt, wie sie eine Edge-KI-Umgebung für Entwickler fördern. So beschreibt das Intel-Entwicklungsteam selbst die Bibliothek:

Die Intel NPU Acceleration Library ist eine Python-Bibliothek, die entwickelt wurde, um die Effizienz Ihrer Anwendungen zu steigern, indem sie die Leistung der Intel Neural Processing Unit (NPU) nutzt, um Hochgeschwindigkeitsberechnungen auf kompatibler Hardware durchzuführen.

In unserem Bestreben, die Leistung der Bibliothek erheblich zu verbessern, richten wir unsere Bemühungen auf die Implementierung einer Reihe wichtiger Funktionen, darunter:

• 8-Bit-Quantisierung
• 4-Bit-Quantisierung und GPTQ
• NPU-native Inferenz mit gemischter Präzision
• Float16-Unterstützung
• BFloat16 (Brain Floating Point Format)
• torch.compile Unterstützung
• LLM MLP horizontale Fusionsimplementierung
• Statische Forminferenz
• MHA-NPU-Schlussfolgerung
• NPU/GPU-Hetero-Computing
• Papier

über Github Intel

Es ist großartig, die Open-Sourcing-Bibliothek der NPU-Beschleunigung zu sehen, da sie letztlich zu einer verbesserten Implementierung von KI-Anwendungen führen würde, die auf den dedizierten KI-Engines von Intel laufen. Es wird interessant sein zu sehen, welche Entwicklungen wir bei solchen Motoren in Zukunft sehen werden, denn wie Tony selbst sagte, gibt es für Verbraucher und Entwickler viel zu bieten.

Nachrichtenquelle: Tony Mongkolsmai