Metas fotorealistische Avatare machen Fortschritte

Metas fotorealistische Avatare machen Fortschritte

Sich virtuell mit Menschen treffen, als wären sie im gleichen Raum: Das ist Metas großes Ziel. Die Codec-Avatare sollen das leisten.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Im Frühjahr 2019 präsentierte Meta zum ersten Mal Forschung an hochentwickelten Avataren, die eines Tages Videokonferenzen ablösen sollen.

Die Nutzer:innen tragen eine prototypische VR-Brille, die die Augen- und Mundpartie mittels fünf Sensoren aufzeichnet. Mithilfe eines KI-Modells wird aus diesen Daten in Echtzeit ein beeindruckend realistischer Avatar generiert, samt Augenbewegungen und feinster Mimik.

Zuvor müssen die Nutzer:innen sich in einem speziellen 3D-Studio einscannen lassen. Die Hoffnung des Forscherteams ist, dass man in Zukunft selbst einen hochwertigen 3D-Scan des Gesichts erstellen kann, zum Beispiel mit dem Smartphone.

Aktuell setzt Meta auf Avatare im Comic-Stil, ein Zugeständnis an die stark begrenzte Rechenleistung der Meta Quest 2.

Codec-Avatare 2.0 laufen auf Quest 2

In den letzten Jahren verbesserte Meta die Codec-Avatare schrittweise, indem das Team die KI-Algorithmen optimierte und den Avataren realistischere Augen verpasste.

Im Rahmen eines MIT-Workshops präsentierte Teamleiter Yaser Sheikh den aktuellen Stand der Forschung und zeigte ein kurzes Video, das die neueste Version der fotorealistischen Avatare, die „Codec-Avatare 2.0“, demonstrieren soll.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

In einem wissenschaftlichen Paper aus dem letzten Jahr beschreiben die Forscher:innen jüngste KI-Fortschritte. Das künstliche neuronale Netz ist demnach in der Lage, nur die sichtbaren Pixel eines Avatars zu berechnen. Damit sei es möglich, bis zu fünf Codec-Avatare auf einer Quest 2 zu rendern bei 50 Bildern pro Sekunde, schreibt UploadVR.

Laut Sheikh lässt sich unmöglich vorhersagen, wann die Avatartechnik produktreif wird. Auf dem Workshop sagte Sheikh, dass sie zu Beginn des Projekts „zehn Wunder entfernt“ war von einer Vermarktung. Heute seien es „nur“ noch fünf Wunder.

Spezial-Chip beschleunigt Codec-Avatare

RoadtoVR berichtete ebenfalls über Codec-Avatare und fasst ein aktuelles Paper aus dem April 2022 zusammen.

Eine Gruppe von Forscher:innen haben demnach einen spezialisierten KI-Chip designt, der die Berechnung von Codec-Avataren auf autarken VR-Brillen beschleunigt. Der nur 1,6 Quadratmillimeter große Chip wurde für das Avatarsystem optimiert und ist spezialisiert auf die Verarbeitung der Sensordaten. Umgekehrt wurde auch das KI-Modell für die Architektur des Chips überarbeitet.

Das Ergebnis dieser Optimierungen: Zum einen wird die Enkodierung der Codec-Avatare beschleunigt, zum anderen der Energieverbrauch sowie die Wärmeentwicklung reduziert. Der XR2-Chip hat ebenfalls zu tun und ist für die Dekodierung und das eigentliche Rendering der Avatare verantwortlich.