Apple zeigt mit einer neuen Open-Source-Veröffentlichung, wie ernst es dem Konzern mit KI-Entwicklung ist.
Denn gestern hat die Firma mehrere Open-Source-LLMs (Large Language Models) veröffentlicht. Sie sind, wie im Vorfeld oft zum Thema gemunkelt wurde, für die Ausführung direkt auf einem Gerät und nicht über Cloud-Server konzipiert.
Acht verschiedene Modelle veröffentlicht
Sie laufen unter dem Namen OpenELM (Open-Source Efficient Language Models) und sind auf dem Hugging Face Hub verfügbar. Es gibt insgesamt acht OpenELM-Modelle, von denen vier mit der CoreNet-Bibliothek trainiert wurden.
Vier weitere sind anweisungsoptimierte Modelle. Im Rahmen der Open-Source-Veröffentlichung stellte Apple den Code, die Trainingsprotokolle und mehrere Versionen der Modelle zur Verfügung – zusätzlich zum finalen Modell. Und so werden sie auf der HFH-Seite beschrieben:
OpenELM, ein modernes offenes Sprachmodell. OpenELM verwendet eine schichtweise Skalierungsstrategie, um Parameter innerhalb jeder Schicht des Transformatormodells effizient zuzuweisen, was zu einer verbesserten Genauigkeit führt. Bei einem Parameterbudget von etwa einer Milliarde Parametern zeigt OpenELM beispielsweise eine 2,36%ige Verbesserung der Genauigkeit im Vergleich zu OLMo und benötigt dabei 2x weniger Token für das Vortraining.
Im Gegensatz zu früheren Praktiken, die nur Modellgewichte und Inferenzcode zur Verfügung stellen und auf privaten Datensätzen vortrainieren, enthält unsere Version das komplette Framework für das Training und die Evaluierung des Sprachmodells auf öffentlich zugänglichen Datensätzen, einschließlich Trainingsprotokollen, mehreren Kontrollpunkten und Vortrainingskonfigurationen.
OpenELM – die Zukunft der Apple-KI?
Bislang ist OpenELM natürlich noch kein Teil von offiziellen Apple-Produkten. Vielleicht gibt der Konzern aber schon zur WWDC Anfang Juni einen Ausblick – das dort vorgestellte iOS 18 wird vermutlich erste KI-Features beinhalten.
In diesem Artikel sind Partner-Links enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet Ihr Euch für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für Euch ändert sich am Preis nichts. Danke für Eure Unterstützung. via arxiv, Foto: Dall-E/iTopnews