Metas Codec-Avatare: Noch lebensechter dank Gaussian Splatting
Meta experimentiert mit Gaussian Splatting, um Codec-Avatare noch realistischer als bisher wirken zu lassen.
Codec-Avatare sollen eines Tages fotorealistische Telepräsenz ermöglichen. Ein VR-Headset zeichnet die Mimik der Nutzer:innen auf und überträgt sie in Echtzeit auf die digitalen Alter Egos. Mark Zuckerberg und Lex Fridman demonstrierten kürzlich den Stand der Technik im Rahmen eines Podcasts.
Eine der größten technischen Hürden für die Vermarktung von Codec-Avataren ist, dass die Nutzer:innen in speziellen Studios zuerst aufwendig gescannt werden müssen. In Zukunft, so hofft Meta, werden selbst gemachte Aufnahmen eines Smartphones reichen. Ein weiteres Hindernis ist das Rendering der fotorealistischen Avatare: Autarken VR-Headsets wie Meta Quest fehlt es an Rechenkraft. Doch auch gibt es bereits Lösungsansätze wie einen dedizierten Chip, der das Gerät beim Rendering der Avatare unterstützt.
Die neueste Version der Avatartechnik, die Codec-Avatare 2.0, hat nun ein Update erhalten, das Gaussian Splatting für eine realistischere und zugleich effizientere Beleuchtung der digitalen Alter Egos einsetzt. In einem mit "Relightable Gaussian Codec Avatars" übertitelten Forschungspapier stellt Meta das neue Verfahren vor.
Neuer Durchbruch bei der Echtzeit-Lichtberechnung
Gaussian Splatting ist eine durch maschinelles Lernen ermöglichte Rendertechnik, bei dem aus einem aus verschiedenen Perspektiven fotografierten realen Ort eine täuschend echt wirkende digitale Kopie desselben berechnet wird. Diese kann anders als bei dem technisch verwandten NeRF-Verfahren in Echtzeit gerendert werden.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Meta-Forscher:innen haben Gaussian Splatting auf Codec-Avatare angewendet und erzielten dabei erstaunliche Ergebnisse: Die digitalen Alter Egos werden realistischer als bisher ausgeleuchtet, wobei selbst feinste Details wie einzelne Haarsträhnen und Poren wirklichkeitsnah gerendert werden und auf wechselnde Lichtbedingungen reagieren.
"Unsere Methode übertrifft bestehende Ansätze, ohne die Echtzeit-Performance zu beeinträchtigen", schreiben die Forscher:innen. Die Umsetzbarkeit demonstrieren sie anhand eines handelsüblichen PC-VR-Headsets. Das folgende Video zeigt die Technik in Aktion. Weitere Informationen gibt es auf der Internetseite des Forschungsprojekts.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
