Connect with us

Nachrichten

Das Update von LLM Runner Llamafile bringt eine 10-fache Leistungssteigerung für AMD Ryzen AVX-512-CPUs

Das Update von LLM Runner Llamafile bringt eine 10-fache Leistungssteigerung für AMD Ryzen AVX-512-CPUs

Das neueste Update von Llamafile hat die Leistung der Ryzen-CPUs von AMD unter Nutzung ihrer AVX-512-Fähigkeiten um das bis zu Zehnfache gesteigert.

Das Ausführen umfangreicher LLM-Modelle auf lokalen Systemen ist mit dem neuesten Update von Llamafile einfacher geworden, da AMD Ryzen-CPUs mit AVX-512 einen 10-fachen Boost erhalten

Phoronix berichtet, dass das neueste Update von Llamafile jetzt den AVX-512-Befehlssatz unterstützt, sodass CPUs, die AVX-512 unterstützen, bei der Verwendung der Software einen enormen Leistungsschub verzeichnen können. Es wird berichtet, dass AMDs Zen 4 „Ryzen“-CPUs mit dem neuen Update eine zehnmal schnellere Sofortbewertung erfahren werden, was letztendlich eine deutlich effizientere LLM-Leistung des Tools ermöglicht.

Bildnachweis: Mozilla Ocho über Github

Für diejenigen, die Llamafile nicht kennen: Es kann mit einer einzigen ausführbaren Datei bereitgestellt werden, die ein LLM-Modell mit den erforderlichen Bibliotheken zum Ausführen kombiniert. Mozilla Ocho hat das Tool mit dem Ziel entwickelt, LLMs einem größeren Publikum zugänglich zu machen, indem es sowohl CPU- als auch GPU-Ausführungen nutzt. Das Tool erfreut sich bei Entwicklern großer Beliebtheit, vor allem, weil es den Bedarf an kostenintensiven Lösungen für den Zugriff auf LLMs überflüssig macht. Derzeit steckt Llamafile jedoch noch in den Kinderschuhen; Daher gibt es Bereiche mit Ungenauigkeiten, die unserer Meinung nach bald behoben werden, sobald das Edge-Computing-Narrativ an Fahrt gewinnt.

Nun, die neue Leistungssteigerung wurde noch nicht getestet, aber Phoronix gibt an, dass sie planen, das neue Llamafire 0.7 in Zukunft sowohl auf AMD- als auch auf Intel-Systemen zu testen. Über GitHub können Sie hier auf die neueste Version zugreifen. Beachten Sie, dass die Ryzen-CPUs von AMD die einzigen Consumer-Chips sind, die AVX-512-Anweisungen unterstützen, während Intel von der Unterstützung Abstand genommen hat, da diese die Verkäufe seiner Xeon-Chips beeinträchtigt. Dies verschafft der Ryzen-Plattform von AMD einen Vorteil für Benutzer, die Anwendungen ausführen möchten, die die Vorteile von AVX-512 nutzen.

Teilen Sie diese Geschichte

Facebook

Twitter