Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser und lade die Seite neu.
Sich virtuell mit Menschen treffen, als wären sie im gleichen Raum: Das ist Metas großes Ziel. Die Codec-Avatare sollen das leisten.
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen. Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.
Im Frühjahr 2019 präsentierte Meta zum ersten Mal Forschung an hochentwickelten Avataren, die eines Tages Videokonferenzen ablösen sollen.
Die Nutzer:innen tragen eine prototypische VR-Brille, die die Augen- und Mundpartie mittels fünf Sensoren aufzeichnet. Mithilfe eines KI-Modells wird aus diesen Daten in Echtzeit ein beeindruckend realistischer Avatar generiert, samt Augenbewegungen und feinster Mimik.
___STEADY_PAYWALL___
Zuvor müssen die Nutzer:innen sich in einem speziellen 3D-Studio einscannen lassen. Die Hoffnung des Forscherteams ist, dass man in Zukunft selbst einen hochwertigen 3D-Scan des Gesichts erstellen kann, zum Beispiel mit dem Smartphone.
Im Rahmen eines MIT-Workshops präsentierte Teamleiter Yaser Sheikh den aktuellen Stand der Forschung und zeigte ein kurzes Video, das die neueste Version der fotorealistischen Avatare, die „Codec-Avatare 2.0“, demonstrieren soll.
In einem wissenschaftlichen Paper aus dem letzten Jahr beschreiben die Forscher:innen jüngste KI-Fortschritte. Das künstliche neuronale Netz ist demnach in der Lage, nur die sichtbaren Pixel eines Avatars zu berechnen. Damit sei es möglich, bis zu fünf Codec-Avatare auf einer Quest 2 zu rendern bei 50 Bildern pro Sekunde, schreibt UploadVR.
Laut Sheikh lässt sich unmöglich vorhersagen, wann die Avatartechnik produktreif wird. Auf dem Workshop sagte Sheikh, dass sie zu Beginn des Projekts „zehn Wunder entfernt“ war von einer Vermarktung. Heute seien es „nur“ noch fünf Wunder.
Eine Gruppe von Forscher:innen haben demnach einen spezialisierten KI-Chip designt, der die Berechnung von Codec-Avataren auf autarken VR-Brillen beschleunigt. Der nur 1,6 Quadratmillimeter große Chip wurde für das Avatarsystem optimiert und ist spezialisiert auf die Verarbeitung der Sensordaten. Umgekehrt wurde auch das KI-Modell für die Architektur des Chips überarbeitet.
Das Ergebnis dieser Optimierungen: Zum einen wird die Enkodierung der Codec-Avatare beschleunigt, zum anderen der Energieverbrauch sowie die Wärmeentwicklung reduziert. Der XR2-Chip hat ebenfalls zu tun und ist für die Dekodierung und das eigentliche Rendering der Avatare verantwortlich.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.