Meta: Fotorealistische VR-Avatare nehmen wichtige Hürde

14.06.2022 Tomislav Bezmalinovic

Fotorealistische digitale Begegnungen: Das soll die Killer-App der VR und AR werden. Nun nehmen Metas Codec-Avatare eine weitere Hürde.

Seit mehr als drei Jahren gewährt das Unternehmen Einblicke in die eigene Avatarforschung. Die Codec Avatare sollen eines Tages Videokonferenzen ersetzen und eine neue Ära medial vermittelter Kommunikation einläuten.

So funktioniert das System: Eine VR-Brille zeichnet mittels integrierter Sensoren die Augen- und Mundpartie auf und ein KI-Modell generiert aus diesen Daten ein lebensechtes Abbild des Menschen inklusive Augenbewegungen, Mimik und Zähne.

Ein großes Hindernis auf dem Weg zur Kommerzialisierung: Personen müssen sich für einen Ganzkörperavatar zuerst in einem 3D-Studio einscannen lassen. | Bild: Meta

Seit der ersten Vorstellung der Codec-Avatare im Jahr 2019 zeigt Meta immer wieder Fortschritte in der Weiterentwicklung des Systems. So gelang es der Forschergruppe jüngst, die Virtual-Reality-Avatare mit einer neuen Rendertechnik relativ flüssig auf einer Meta Quest 2 darzustellen und dank eines neuen, eigens entwickelten Chips konnte Meta das System weiter optimieren.

Gesichts-Scan mit dem Smartphone

Die Metaverse-Telefonie, die irgendwann auch für AR-Brillen verfügbar werden und Menschen als Hologramme in die Umgebung werfen könnte, ist laut Forschungsleiter Yaser Sheikh noch fünf "Wunder" von der Marktreife entfernt. Jetzt ist dem Team offenbar ein weiteres Wunder gelungen.

Eine der größten Hürden für die Vermarktung des Avatarsystems ist, dass Nutzer:innen sich zuerst in ein spezielles Studio begeben und von Dutzenden Kameras in 3D einscannen lassen müssen. So werden die Basisdaten gewonnen, mit der das KI-Modell realistische Avatare erstellen kann. Für die kommerzielle Nutzung ist das zu umständlich.

In ihrer neuesten Forschungsarbeit zeigt das Team, dass der 3D-Scan des Gesichts auch mit einem Smartphone möglich ist, ohne dass das Ergebnis leidet. Die Hoffnung geht dahin, dass Nutzer:innen diesen Vorgang eines Tages eigenständig von zu Hause aus erledigen könnten.

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Avatar-Rendering dauert noch Stunden

UploadVR beschreibt die technischen Voraussetzungen in einem Artikel. Das 3D-Scanning bedarf demnach eines Tiefensensors, wie es das iPhone X und neuer für FaceID nutzt. Der Vorgang dauert laut Meta circa dreieinhalb Minuten. Nutzer:innen müssen dabei 65 verschiedene Gesichtsausdrücke nachahmen.

Die Komplexitätsreduktion beim Scanning wird durch ein optimiertes KI-Modell ermöglicht, das mit weniger Daten zurechtkommt. Trainiert wurde es mit einem Satz aus 255 Gesichtern.

Oben sieht man das Ergebnis des 3D-Studio-Scans, unten das Resultat eines Smartphone-Scans. | Bild: Meta

​Ein weiteres, noch zu knackendes Problem ist das Rendering des Avatars in Echtzeit und vollem Detailgrad. Derzeit dauert die Berechnung sechs Stunden auf einem Rechner mit vier Highend-Grafikkarten.

Ein Problem des Smartphone-Scannings ist, dass es Probleme mit Brillen und langen Haaren hat und keinerlei Informationen zum Rest des Körpers besitzt. Es gibt also noch viele Wunder herbeizuführen für Metas Forscher:innen.

Die Forschungsarbeit ist frei im Internet erhältlich.

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.