Meta Quest: Metas neue Avatar-Mimik ist pure Magie
Meta hat ein neues Feature für Avatare eingeführt, das verbale Äußerungen in Gesichtsausdrücke übersetzt. Der Unterschied ist riesig.
Das Feature wurde mit SDK-Version 71 eingeführt und unterstüzt Meta Quest 3, 3S, 2 und Pro. Meta nennt es Audio to Expression. Es ersetzt das sehr viel ältere Lipsync, das nur den Mund animiert.
Audio to Expression ist ein fortschrittliches KI-Modell, das verbale Äußerungen und Geräusche einer Person analysiert und in eine überzeugende Mimik der oberen Gesichtshälfte, einschließlich der Wangen, Augenlider und Augenbrauen, übersetzt. Das Audio muss derzeit auf dem Mikrofon-Input basieren.
Wenn die Nutzer:innen sprechen, lachen oder sogar husten, simuliert das KI-Modell eine passende Mimik. Das Ergebnis ist eine deutlich höhere Ausdrucksstärke, ganz ohne Facetracking. Ein weiterer Vorteil des neuen KI-Modells ist, dass es nur einen Bruchteil der CPU-Leistung und wenig Speicher wie das Lipsync SDK benötigt.
Ein Video zeigt den Unterschied
Das folgende Video zeigt den großen Unterschied in der emotionalen Ausdruckskraft zwischen Audio to Expression (links) und dem älteren Lipsync (rechts), von dem in Zukunft nicht nur Avatare, sondern auch NPCs profitieren könnten. Was das neue System nicht abbilden kann, sind Augenbewegungen, da sich über die Audioquell nicht ermitteln lässt, was die Nutzer:innen betrachten. Hierfür wird weiterhin Eyetracking benötigt.
Das neue SDK-Feature ist kein Selbstläufer. Entwickler:innen müssen es zuerst in ihre VR- und MR-Apps integrieren. Es wird also noch eine Weile dauern, bis es in Aktion zu sehen sein wird. Zusammen mit den neuen Meta-Avataren, die im Oktober ausgerollt sind, verspricht Expresssion to Feature deutlich lebensechtere soziale Interaktionen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Im Quest Developer Blog könnt ihr mehr über Audio to Expression erfahren und die entsprechende Dokumentation herunterladen.
Interessiert ihr euch für VR und AR? Dann folgt uns auf Instagram oder Facebook oder teilt eure Erfahrungen in den Kommentaren. Für Feedback, Themenvorschläge oder andere Ideen schickt uns bitte eine E-Mail an hallo@mixed.de oder hüpft auf unseren Discord-Server.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
