Metas eindrückliche Codec-Avatare liefen auf einem Monster-PC
Metas neue Codec-Avatare werden auf Workstation gerendert, eine ältere Version läuft jedoch schon auf autarken Headsets.
Der Leiter von Metas Codec-Avatar-Forschung Yaser Sheikh hielt auf der Nvidia GTC-Konferenz einen Vortrag zum Stand der Technologie. MIXED war anwesend.
Im vergangenen September demonstrierte Meta die Codec-Avatare in einem aufsehenerregenden Podcast. Darin unterhielten sich Lex Fridman und Mark Zuckerberg über eine weite Distanz eine Stunde lang mit fotorealistischen Codec-Avataren. Beide wurden vorab in einem speziellen Studio aufwendig eingescannt. Während des Gesprächs trugen sie eine kabelgebundene Meta Quest Pro, die fünf Sensoren für Eye- und Face-Tracking nutzt. Bislang war nicht bekannt, was darüber hinaus an Technik nötig war.
Ein Bild aus Sheiks Präsentation zeigt die tatsächliche Aufnahmesituation und eingesetzte Workstation. | Bild: Meta
Im Vortrag sagte Sheikh, dass für das Rendering der Avatare auf beiden Seiten eine Workstation mit jeweils 4 GeForce RTX 4090 Grafikkarten eingesetzt wurde. Die Technologie ist also noch weit davon entfernt, in dieser Qualität auf autarken Headsets wie Meta Quest 3 zu laufen, die nur einen Bruchteil dieser Rechenleistung bieten.
Im Podcast kamen laut Sheikh Codec-Avatare 2.0 zum Einsatz. Sheikh sagt jedoch, dass man die älteren Codec-Avatare 1.0 bereits für mehrere Teilnehmer:innen auf autarken Headsets zum Laufen bekommen habe. Diese Avatare könnten mit einem einminütigen Smartphone-Scan des Gesichts erstellt werden. Das folgende Video zeigt Codec-Avatare 1.0.
Sheikh zeigte außerdem eine neue Generation der Technologie, die Codec-Avatare 3.0, die Gaussian Splatting einsetzt und Menschen noch realistischer bis auf einzelne Haare rendert. Diese laufen wie die Codec-Avatare 2.0 auf Workstations.
Die Codec-Avatare 3.0 sind detaillierter als jene des Podcasts. | Bild: Meta
Codec-Avatare ab 2025?
Meta forscht seit vielen Jahren an Codec-Avataren und gab 2019 zum ersten Mal Einblick in die Forschung. Das langfristige Ziel ist, fotorealistische Telepräsenz auf erschwinglichen Headsets zu ermöglichen.
Mittlerweile steigt der Druck auf Meta, realistische Avatare zu liefern: Apple Vision Pro bietet mit Personas bereits eine gut funktionierende Telepräsenz-Lösung. Die Personas haben das Uncanny Valley noch nicht durchschritten und werden lediglich zweidimensional innerhalb eines Fenster angezeigt, aber man darf erwarten, dass Apple die Technologie in den nächsten Monaten und Jahren stark verbessert. Personas bedürfen ebenfalls eines Gesichtsscans, der mithilfe von Vision Pro erstellt wird, wie im folgenden Video zu sehen ist.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Einer geleakten Hardware-Roadmap zufolge könnten Metas Codec-Avatare in einem neuen Premium-Headset Eingang finden. Könnte es sich hierbei um das Headset handeln, an dem Meta mit LG zusammen arbeitet und das Berichten zufolge 2025 erscheinen wird?
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
