Googles KI-Forscher haben ein neues spannendes Paper mitsamt Projekt vorgestellt.
KIs können schon länger Texte und Bilder generieren – der neue „Google VideoPoet“ ist eine KI, die Videos erstellen kann. Sie erzeugt auf Basis eines Bildes oder einer Beschreibung eine Animation.
Noch im Forschungs-Stadium
Bisher handelt es sich noch um eine frühe Forschung, die aber großes Potential bietet. Google hat eine Animation mit Beispielen geteilt, was die KI generiert hat.
Fokus auf kurzen Clips
Derzeit liegt der Fokus auf kurzen Clips. Jedoch ist es auch möglich, längere Videos zu erzeugen. Abschließend heißt es:
Mit Hilfe von VideoPoet haben wir gezeigt, dass LLMs bei einer Vielzahl von Aufgaben eine sehr konkurrenzfähige Qualität bei der Videogenerierung aufweisen, insbesondere bei der Erzeugung interessanter und qualitativ hochwertiger Bewegungen in Videos. Unsere Ergebnisse deuten auf das vielversprechende Potenzial von LLMs im Bereich der Videogenerierung hin. In Zukunft sollte unser Framework in der Lage sein, „Any-to-Any“-Generierung zu unterstützen, z.B. sollte eine Erweiterung auf Text-zu-Audio, Audio-zu-Video und Videountertitelung möglich sein, neben vielen anderen.