Google bringt Gemma auf den Markt, eine Familie von Open-Source-Modellen

Nach der Veröffentlichung von Gemini 1.0 Ultra und Gemini 1.5 Pro in den letzten Wochen hat Google dies nun getan gestartet eine neue Familie kleiner Open-Source-Modelle namens Gemma. Es gibt zwei Varianten, eine mit 2B-Parametern und eine mit 7B-Parametern.

Diese Open-Source-Modelle verfügen über eine kommerzielle Lizenz, was bedeutet, dass sie im Gegensatz zu Gemini, einem proprietären Modell, frei für kommerzielle Zwecke verwendet oder geändert werden können. Das Unternehmen gibt an, dass die Gemma-Modelle trotz ihrer geringen Größe leistungsfähig sind und auf der Forschung und Technologie basieren, die zur Erstellung der Gemini-Modelle verwendet wurde.

Gemma-Modelle können problemlos auf Ihrem Laptop ausgeführt werden

Laut Google sind die Gemma-Open-Source-Modelle recht klein und können problemlos auf Laptops oder Desktops bereitgestellt werden. Sie wurden in englischsprachigen Datensätzen geschult, darunter Webdokumente, Code und Mathematik.

Gemma-Modelle sind dafür gut geeignet Textzusammenfassung, Generierung, Argumentation, Fragen und Antworten und mehr. Was den Trainingsdatensatz betrifft, sagt Google, dass Gemma-Modelle auf insgesamt 6 Billionen Token trainiert werden.

Während die Modelle Open Source sind, hat Google dies getan umfangreiche Tests der Modelle für Sicherheit, Voreingenommenheit und Risiken. Der CSAM-Filter (Child Sexual Abuse Material) wurde streng angewendet, um schädliche Inhalte zu entfernen. Darüber hinaus wurden zahlreiche Filter für sensible Daten angewendet, um persönliche Informationen aus den Modellen auszuschließen.

Google bietet außerdem ein Responsible Generative AI Toolkit an, mit dem Entwickler das Modell verantwortungsvoll nutzen können. Die Familie der Gemma-Modelle ist Open Source, hat aber einige davon Richtlinie zur verbotenen Nutzung das hindert Entwickler daran, es für „gefährliche, illegale oder böswillige Aktivitäten„, unter anderem.

Bei den Benchmarks hat das Gemma 2B-Modell im MMLU-Test 42,3 Punkte erzielt Das 7B-Modell hat 64,3 Punkte erzielt. Im HellaSwag-Test erreichte das 2B-Modell 71,4 und das 7B-Modell 81,2. Im Gegensatz dazu erzielte das 2.7B Phi-2-Modell von Microsoft im MMLU-Test einen Wert von 56,7 und Metas Llama 2 (7B) einen Wert von 45,3. Allerdings erreichte Googles eigenes Modell Gemini Nano 2 (3.2B) im gleichen Test 55,8 Punkte.

Insgesamt glaube ich, dass Google einen guten Schritt unternommen hat, Open-Source-Modelle für die Forschung freizugeben und Innovationen zu fördern. Sie können Gemma-Modelle verwenden Kaggle oder sehen Sie sich die offizielle PyTorch-Implementierung von Gemma-Modellen auf GitHub an (besuchen). Sie können sich Gemma auch auf Vertex AI ansehen (besuchen).

Am kommenden Tag werde ich dieses Open-Source-Modell testen, um zu sehen, wie es im Vergleich zu anderen beliebten Open-Source-Modellen da draußen abschneidet. Seien Sie also gespannt auf einen umfassenderen, praktischen Test von Gemma, Mixtral und anderen LLMs.