Apples ML-Forscher haben neunen neuen Blog-Post veröffentlicht. Spannendes rund um KI.
Apple und NVIDIA haben gemeinsam eine Methode entwickelt, um die Textgenerierung durch große Sprachmodelle (LLMs) zu beschleunigen. Diese Technik, genannt Recurrent Drafter (ReDrafter), wurde von Apple entwickelt und als Open-Source-Projekt veröffentlicht.
Nvidia und Apple arbeiten an Verbesserungen
Sie kombiniert zwei Ansätze: Beam Search, das mehrere Textvarianten gleichzeitig prüft, und Dynamic Tree Attention, das Entscheidungen effizient verarbeitet.
In Zusammenarbeit mit NVIDIA wurde ReDrafter in das NVIDIA TensorRT-LLM-Framework integriert, ein Werkzeug, das LLMs auf NVIDIA-Grafikprozessoren beschleunigt. Hierfür erweiterte NVIDIA das Framework um neue Funktionen, um komplexe Modelle und Dekodiermethoden zu unterstützen.
Deutlicher Speedup in bestimmten Szenarien
Diese Integration ermöglicht es Entwicklern, die ReDrafter-Technik in ihren Anwendungen zu nutzen und so die Geschwindigkeit der Textgenerierung zu steigern.
Tests mit einem umfangreichen Modell zeigten, dass die Verwendung von ReDrafter in TensorRT-LLM die Anzahl der generierten Textbausteine pro Sekunde um das 2,7-Fache erhöht. Dies führt zu einer schnelleren Reaktionszeit für Nutzer, reduziert den Bedarf an Hardware und senkt den Energieverbrauch.
Diese Fortschritte sind besonders relevant, da LLMs zunehmend in Anwendungen eingesetzt werden. Eine effizientere Textgenerierung kann die Betriebskosten senken und die Nutzererfahrung durch geringere Wartezeiten verbessern. Durch die Integration von ReDrafter in das NVIDIA TensorRT-LLM-Framework steht Entwicklern nun ein leistungsfähiges Werkzeug zur Verfügung, um die Leistung ihrer Anwendungen zu optimieren.
In diesem Artikel sind Partner-Links enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet Ihr Euch für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für Euch ändert sich am Preis nichts. Danke für Eure Unterstützung. Bild: Nvidia, via Nvidia, Apple