Meta Quest Pro: Das kann das neue Eye- und Facetracking
Mit Quest Pro führt Meta neue Schnittstellen für Avatare ein, die Mimik und Körperbewegungen ihrer Nutzer:innen besser widerspiegeln können.
Im Rahmen der Meta Connect 2022 stellte Meta das Movement SDK vor, mit dem Entwickelnde folgende Features in ihre VR-Apps implementieren können:
- Face Tracking (mit Meta Quest Pro)
- Eye Tracking (mit Meta Quest Pro)
- Body Tracking (mit Meta Quest Pro und Meta Quest 2)
In den folgenden Abschnitten stelle ich die neuen Features in aller Kürze vor.
___STEADY_PAYWALL___Face & Eye Tracking
Für dieses Feature kommen fünf neue Infrarotsensoren an der Innenseite der Meta Quest Pro zum Einsatz: Drei sind auf die Augen und den oberen Teil des Gesichts gerichtet, zwei auf den unteren Teil des Gesichts.
Ein vorab trainiertes KI-Modell leitet aus den abstrakten Sensordaten Gesichtsausdrücke ab, die auf dem "Facial Action Coding System" (FACS) beruhen, einem weit verbreiteten Kodierungsverfahren für menschliche Mimik.
Entwickelnde können die Gesichtsausdrücke auf unterschiedlichste Avatare abbilden. Ob comichaft oder realistisch, menschlich oder der Fantasie entsprungen: Das spielt keine Rolle.
Meta hat zwei Avatar-Beispiele entworfen, mit denen Entwickelnde experimentieren können. Eines davon ist die Außerirdische Aura, die, wie man sieht, ein beeindruckendes Spektrum an Gesichtsausdrücken abbilden kann.
Die Blickverfolgung ermöglicht zudem Augenkontakt oder neue Interaktionsformen.
Face- und Eye-Tracking sind standardmäßig aus und müssen von den Nutzer:innen in den Headset-Einstellungen aktiviert werden. Laut Meta verbleiben die Sensordaten auf dem Gerät und werden gelöscht, sobald sie nicht mehr zur Datenverarbeitung benötigt werden.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Body Tracking
Das Körpertracking wird neben Meta Quest Pro auch von Meta Quest 2 unterstützt. Der Ausdruck ist etwas irreführend. Tatsächlich umfasst dieses Feature lediglich Kopf- und Handbewegungen. Bewegungen der Hüfte, Beine und Füße erfassen die Headsets nicht.
Das Body-Tracking-Feature des Movement SDKs ist für das Übertragen der Bewegungsdaten auf Avatare zuständig, und zwar so, dass diese möglichst natürlich aussehen.
Auch hier kommt maschinelles Lernen zum Einsatz. "Wir haben einen großen Datensatz mit realen menschlichen Bewegungen verwendet, um die Fehler zu korrigieren, die bei inverser Kinematik oder IK-basierten Ansätzen häufig auftreten", erklärt der Meta-Produktmanager Vibhor Saxena. Das Verfahren der inversen Kinematik kommt aus der Robotik und beschreibt das maschinelle Schätzen des räumlichen Verhältnisses von Gliedmaßen auf Basis beschränkter Datenpunkte.
Metas Body-Tracking-Feature kam bislang nur in Metas Horizon-Produkten zum Einsatz. Nun steht sie Entwickelnden zur Verfügung und wird somit auch in anderen VR-Apps neben Horizon Home, Worlds und Workrooms realistischere Avatare ermöglichen, ohne dass Entwickelnde eigene IK-Modelle programmieren müssen. Das System ist flexibel: Es kann nahtlos zwischen Hand- und Controllertracking wechseln und lässt sich auf unterschiedlich geformte Skelette abbilden.
"Wir arbeiten hart daran, das Körpertracking in den kommenden Jahren weiter zu verbessern", verspricht Saxena. Meinen dürfte er unter anderem Avatare mit simulierten Beinen, die bei Erscheinen wohl ebenfalls unter das Movement SDK fallen werden.
Falls ihr tiefer ins Thema einsteigen wollt: In folgender Developer Session erklärt Meta die Neuerungen des neuen SDKs.
Gut zu wissen: Das Movement SDK ist Bestandteil der Presence Platform, Metas Sammelbegriff für immersive Schnittstellen und SDKs. Meta unterteilt diese in die drei Säulen Mixed Reality (Insight SDK), Interaktionen (Interaction SDK und Voice SDK) und soziale Präsenz. Das Movement SDK ist das erste, das letzterer angehört.
Alle Informationen zur Meta Meta Quest 2 und Meta Quest Pro findet ihr in den verlinkten Tests.
Meta Quest Pro gibt es noch nicht in Deutschland, ihr bekommt sie aber problemlos über Amazon Frankreich. Tipp: Rechtsklick auf die Webseite und “Übersetzen” wählen.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
