Metas Codec-Avatare bekommen fotorealistische Kleider

Metas Codec-Avatare bekommen fotorealistische Kleider

Die Gesichter von Metas Codec-Avataren sind schon ziemlich überzeugend. In einer neuen Präsentation verblüffen auch die VR-Klamotten.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Seit 2019 verbessert Meta seine experimentellen Codec-Avatare stetig. Wenn alles gut geht, sollen die fotorealistischen Figuren eines Tages ihre Nutzer:innen ersetzen – freilich nur in der virtuellen Welt. Nach dem Aufsetzen einer VR-Brille erscheint dann ein digitaler Zwilling in Virtual Reality, der sich fast genau so bewegt wie die von Sensoren getrackte Augen- und Mundpartie oder der erfasste Rest des Körpers.

Ein KI-Modell generiert aus diesen Daten ein lebensecht animiertes Abbild des Menschen inklusive Augenbewegungen, Mimik und Zähnen. Noch handelt es sich um ein internes Forschungsprojekt, das zur originalgetreuen Echtzeit-Darstellung viel Rechenpower benötigt.

Die Einstiegshürden sind jedoch bereits deutlich gesenkt worden: Dank der Fortschritte im KI-Rendering können Codec-Avatare auf Quest 2 laufen.

Realistische Kleider für Metas KI-Avatare

Eine realistische Kleidungs-Simulation soll die Avatare in Bewegung künftig noch authentischer aussehen lassen. Wie das gelingen soll, erläutert eine Publikation in Kooperation mit Forschern von der Carnegie Mellon University sowie der University of Minnesota.

In der Veröffentlichung „Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing“ von Donglai Xiang und seinen Co-Autoren spielt Künstliche Intelligenz erneut eine wichtige Rolle. Ein neuronales Netzwerk berechnet, wie etwa ein lockeres Kleid bei Drehungen über verschiedene Körperformen fällt. Noch wird das neue Kleidungssystem separat berechnet, es läuft parallel zum bekannten System der Codec-Avatare.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Effekte, Schatten und Umgebungsverdeckung reichern den visuellen Eindruck an. Nicht nur die Größe der virtuellen Kleidungsstücke lässt sich frei anpassen: Die Software platziert sogar verschiedene Stoffarten übereinander. Im Präsentationsvideo gleitet auch ein übergroßes T-Shirt realistisch zur Gestik über ein Kleid.

Empfohlener Beitrag

Andrew_Boswort_mit_VR_Brillen_Prototyp
Meta Quest 3: Diese neuen Tech-Features kommen
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Zu aufwendig für Meta Quest 2?

Bislang ist für die Berechnung eine beachtliche Workstation mit starken Grafikkarten nötig. In einem Beispiel kommen gleich drei GeForce RTX 3090 zum Einsatz, um mindestens flüssige 30 Bilder pro Sekunde zu erreichen. Aber auch in diesem Bereich könnte es auf Dauer starke Optimierungen geben. Künftig würden KI-Algorithmen dazu eingesetzt, aus den Sensordaten eine realistische Mimik zu berechnen.

Allzu bald sollte aber niemand eine Veröffentlichung erwarten. Im Mai 2022 erwähnte Forschungsleiter Yaser Sheikh, dass die Metaverse-Telefonie, die irgendwann auch für AR-Brillen verfügbar werden und Menschen als Hologramme in die Umgebung werfen könnte, noch fünf „Wunder“ von der Marktreife entfernt sei.

Wer sich nicht auch noch in Virtual Reality mit seinem originalgetreuen Körper zeigen möchte, braucht sich vorerst übrigens nicht zu sorgen. In einem Interview mit Lex Fridman erwähnte Mark Zuckerberg bereits, dass die realistischen Codec-Avatare die bisherigen Avatare im Cartoon-Stil nur ergänzen sollen.