Metas Codec-Avatare bekommen fotorealistische Kleider
Die Gesichter von Metas Codec-Avataren sind schon ziemlich überzeugend. In einer neuen Präsentation verblüffen auch die VR-Klamotten.
Seit 2019 verbessert Meta seine experimentellen Codec-Avatare stetig. Wenn alles gut geht, sollen die fotorealistischen Figuren eines Tages ihre Nutzer:innen ersetzen - freilich nur in der virtuellen Welt. Nach dem Aufsetzen einer VR-Brille erscheint dann ein digitaler Zwilling in Virtual Reality, der sich fast genau so bewegt wie die von Sensoren getrackte Augen- und Mundpartie oder der erfasste Rest des Körpers.
Ein KI-Modell generiert aus diesen Daten ein lebensecht animiertes Abbild des Menschen inklusive Augenbewegungen, Mimik und Zähnen. Noch handelt es sich um ein internes Forschungsprojekt, das zur originalgetreuen Echtzeit-Darstellung viel Rechenpower benötigt.
___STEADY_PAYWALL___Die Einstiegshürden sind jedoch bereits deutlich gesenkt worden: Dank der Fortschritte im KI-Rendering können Codec-Avatare auf Quest 2 laufen.
Realistische Kleider für Metas KI-Avatare
Eine realistische Kleidungs-Simulation soll die Avatare in Bewegung künftig noch authentischer aussehen lassen. Wie das gelingen soll, erläutert eine Publikation in Kooperation mit Forschern von der Carnegie Mellon University sowie der University of Minnesota.
In der Veröffentlichung "Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing" von Donglai Xiang und seinen Co-Autoren spielt Künstliche Intelligenz erneut eine wichtige Rolle. Ein neuronales Netzwerk berechnet, wie etwa ein lockeres Kleid bei Drehungen über verschiedene Körperformen fällt. Noch wird das neue Kleidungssystem separat berechnet, es läuft parallel zum bekannten System der Codec-Avatare.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Effekte, Schatten und Umgebungsverdeckung reichern den visuellen Eindruck an. Nicht nur die Größe der virtuellen Kleidungsstücke lässt sich frei anpassen: Die Software platziert sogar verschiedene Stoffarten übereinander. Im Präsentationsvideo gleitet auch ein übergroßes T-Shirt realistisch zur Gestik über ein Kleid.
Zu aufwendig für Meta Quest 2?
Bislang ist für die Berechnung eine beachtliche Workstation mit starken Grafikkarten nötig. In einem Beispiel kommen gleich drei GeForce RTX 3090 zum Einsatz, um mindestens flüssige 30 Bilder pro Sekunde zu erreichen. Aber auch in diesem Bereich könnte es auf Dauer starke Optimierungen geben. Künftig würden KI-Algorithmen dazu eingesetzt, aus den Sensordaten eine realistische Mimik zu berechnen.
Allzu bald sollte aber niemand eine Veröffentlichung erwarten. Im Mai 2022 erwähnte Forschungsleiter Yaser Sheikh, dass die Metaverse-Telefonie, die irgendwann auch für AR-Brillen verfügbar werden und Menschen als Hologramme in die Umgebung werfen könnte, noch fünf "Wunder" von der Marktreife entfernt sei.
Wer sich nicht auch noch in Virtual Reality mit seinem originalgetreuen Körper zeigen möchte, braucht sich vorerst übrigens nicht zu sorgen. In einem Interview mit Lex Fridman erwähnte Mark Zuckerberg bereits, dass die realistischen Codec-Avatare die bisherigen Avatare im Cartoon-Stil nur ergänzen sollen.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
