Forscher der Universität Carnegie Mellon haben eine KI entwickelt, die einfache Textbeschreibungen in Animationen umwandelt.

Die Künstliche Intelligenz “Joint Language-to-Pose” verarbeitet Beschreibungen wie “eine Person läuft vorwärts” oder “eine Person geht vier Schritte zurück” in Animationen.

Diese Animation besteht aus einer Reihe aufeinanderfolgender Strichfiguren, deren Gliedmaßen und Gelenke entsprechend der im Text beschriebenen Bewegungen angeordnet sind. Solche Figuren sind häufig die Grundlage von CGI-Charakteren in Filmen oder Videospielen.

Language2Pose-1

Die KI verarbeitet Beschreibungen und setzt aus ihnen die passende Strichmännchenanimation zusammen. Bild: Ahuja et al.

Die korrekte Animation aus einem Satz zu generieren, ist eine anspruchsvolle Aufgabe: Bewegungsbeschreibungen enthalten oft verschiedene Aktionen, Geschwindigkeiten, Richtungen oder Ziele in einem Satz. Die KI kann durch ihr Training eine ganze Reihe dieser Beschreibungen umsetzen.

KI fängt mit kleinen Schritten an

Die Forscher nutzten für das Training der KI fast 4.000 Videos menschlicher Bewegungen. Über die Aufnahmen ist ein für die KI erkennbares Skelett gelegt.

Jede Aufnahme enthält zudem mindestens eine transkribierte Beschreibung der Bewegung, etwa “eine Person geht vorwärts” oder “ein Mensch führt eine Kniebeuge durch”.

Language2Pose-2

Eine Auswahl der KI-Animationen. Gut zu erkennen: Sie kann verschieden Bewegungstypen, Geschwindigkeiten und Richtungen unterscheiden. Bild: Ahuja et al.

Im Laufe des Trainings lernte die KI so, Bewegung und sprachliche Beschreibung zu verknüpfen. Was heißt “Laufen”,”Springen” oder “Drehen”? Was ist “schnell”, was “langsam”? Mit diesem Wissen kann die KI eigene Animationen erstellen.

Die Generierung der Animationen lernte die KI in kleinen Schritten: Zu Beginn erstellte sie nur kurze und einfache Animationen, wie Bein- und Handbewegungen oder Drehungen des Oberkörpers.

Anschließend wurden ihr komplexere Aufgaben gestellt für längere Sequenzen von springenden oder joggenden Personen.

Einsatz in der Filmindustrie denkbar

In einem Vergleich mit anderen KI-generierten und per Hand erstellten Animationen sollten Testpersonen die besten zwei aus sechs Animationen auswählen. In 75 Prozent der Fälle lag die KI-Animation in den Top zwei. Das sei ein Sprung von 15 Prozent im Vergleich zu ähnlichen KI-Verfahren, so die Forscher.

In Zukunft könnte die KI etwa für die Visualisierung von Filmskripten, für Animationen in Spielen und Filmen oder für die Bewegungsplanung von Robotern eingesetzt werden. Autoren könnten ihre Ideen so schneller visualisieren. Im Zusammenspiel mit anderen KI-Technologien wie Deepfakes könnte das die Bewegtbildbranche verändern.

Titelbild: Ahuja et al., Quelle: Arxiv.org

Weiterlesen über Künstliche Intelligenz:


MIXED-Podcast #156: Drei Jahre XR-Podcast: Highlights, Lowlights, Überraschungen | Alle Folgen


Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.