Meta: Fotorealistische VR-Avatare nehmen wichtige Hürde

Meta: Fotorealistische VR-Avatare nehmen wichtige Hürde

Fotorealistische digitale Begegnungen: Das soll die Killer-App der VR und AR werden. Nun nehmen Metas Codec-Avatare eine weitere Hürde.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Seit mehr als drei Jahren gewährt das Unternehmen Einblicke in die eigene Avatarforschung. Die Codec Avatare sollen eines Tages Videokonferenzen ersetzen und eine neue Ära medial vermittelter Kommunikation einläuten.

So funktioniert das System: Eine VR-Brille zeichnet mittels integrierter Sensoren die Augen- und Mundpartie auf und ein KI-Modell generiert aus diesen Daten ein lebensechtes Abbild des Menschen inklusive Augenbewegungen, Mimik und Zähne.

Personen müssen sich für einen Ganzkörperavatar zuerst in einem 3D-Studio von Dutzenden Kameras einscannen lassen.

Ein großes Hindernis auf dem Weg zur Kommerzialisierung: Personen müssen sich für einen Ganzkörperavatar zuerst in einem 3D-Studio einscannen lassen. | Bild: Meta

Seit der ersten Vorstellung der Codec-Avatare im Jahr 2019 zeigt Meta immer wieder Fortschritte in der Weiterentwicklung des Systems. So gelang es der Forschergruppe jüngst, die Virtual-Reality-Avatare mit einer neuen Rendertechnik relativ flüssig auf einer Meta Quest 2 darzustellen und dank eines neuen, eigens entwickelten Chips konnte Meta das System weiter optimieren.

Gesichts-Scan mit dem Smartphone

Die Metaverse-Telefonie, die irgendwann auch für AR-Brillen verfügbar werden und Menschen als Hologramme in die Umgebung werfen könnte, ist laut Forschungsleiter Yaser Sheikh noch fünf „Wunder“ von der Marktreife entfernt. Jetzt ist dem Team offenbar ein weiteres Wunder gelungen.

Eine der größten Hürden für die Vermarktung des Avatarsystems ist, dass Nutzer:innen sich zuerst in ein spezielles Studio begeben und von Dutzenden Kameras in 3D einscannen lassen müssen. So werden die Basisdaten gewonnen, mit der das KI-Modell realistische Avatare erstellen kann. Für die kommerzielle Nutzung ist das zu umständlich.

In ihrer neuesten Forschungsarbeit zeigt das Team, dass der 3D-Scan des Gesichts auch mit einem Smartphone möglich ist, ohne dass das Ergebnis leidet. Die Hoffnung geht dahin, dass Nutzer:innen diesen Vorgang eines Tages eigenständig von zu Hause aus erledigen könnten.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Empfohlener Beitrag

Meta Avatar von Mark Zuckerberg
Meta rollt verbesserte Metaverse-Avatare aus
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Avatar-Rendering dauert noch Stunden

UploadVR beschreibt die technischen Voraussetzungen in einem Artikel. Das 3D-Scanning bedarf demnach eines Tiefensensors, wie es das iPhone X und neuer für FaceID nutzt. Der Vorgang dauert laut Meta circa dreieinhalb Minuten. Nutzer:innen müssen dabei 65 verschiedene Gesichtsausdrücke nachahmen.

Die Komplexitätsreduktion beim Scanning wird durch ein optimiertes KI-Modell ermöglicht, das mit weniger Daten zurechtkommt. Trainiert wurde es mit einem Satz aus 255 Gesichtern.

Vergleich: Ein mit Mugsy erstellter Avatare und ein mit einem Smartphone ersteller Avatar.

Oben sieht man das Ergebnis des 3D-Studio-Scans, unten das Resultat eines Smartphone-Scans. | Bild: Meta

​Ein weiteres, noch zu knackendes Problem ist das Rendering des Avatars in Echtzeit und vollem Detailgrad. Derzeit dauert die Berechnung sechs Stunden auf einem Rechner mit vier Highend-Grafikkarten.

Ein Problem des Smartphone-Scannings ist, dass es Probleme mit Brillen und langen Haaren hat und keinerlei Informationen zum Rest des Körpers besitzt. Es gibt also noch viele Wunder herbeizuführen für Metas Forscher:innen.

Die Forschungsarbeit ist frei im Internet erhältlich.

Quellen: UploadVR