Meta Quest Pro: Das kann das neue Eye- und Facetracking

Meta Quest Pro: Das kann das neue Eye- und Facetracking

Mit Quest Pro führt Meta neue Schnittstellen für Avatare ein, die Mimik und Körperbewegungen ihrer Nutzer:innen besser widerspiegeln können.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Im Rahmen der Meta Connect 2022 stellte Meta das Movement SDK vor, mit dem Entwickelnde folgende Features in ihre VR-Apps implementieren können:

  • Face Tracking (mit Meta Quest Pro)
  • Eye Tracking (mit Meta Quest Pro)
  • Body Tracking (mit Meta Quest Pro und Meta Quest 2)

In den folgenden Abschnitten stelle ich die neuen Features in aller Kürze vor.

Face & Eye Tracking

Für dieses Feature kommen fünf neue Infrarotsensoren an der Innenseite der Meta Quest Pro zum Einsatz: Drei sind auf die Augen und den oberen Teil des Gesichts gerichtet, zwei auf den unteren Teil des Gesichts.

Ein vorab trainiertes KI-Modell leitet aus den abstrakten Sensordaten Gesichtsausdrücke ab, die auf dem „Facial Action Coding System“ (FACS) beruhen, einem weit verbreiteten Kodierungsverfahren für menschliche Mimik.

Entwickelnde können die Gesichtsausdrücke auf unterschiedlichste Avatare abbilden. Ob comichaft oder realistisch, menschlich oder der Fantasie entsprungen: Das spielt keine Rolle.

Meta hat zwei Avatar-Beispiele entworfen, mit denen Entwickelnde experimentieren können. Eines davon ist die Außerirdische Aura, die, wie man sieht, ein beeindruckendes Spektrum an Gesichtsausdrücken abbilden kann.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Die Blickverfolgung ermöglicht zudem Augenkontakt oder neue Interaktionsformen.

Face- und Eye-Tracking sind standardmäßig aus und müssen von den Nutzer:innen in den Headset-Einstellungen aktiviert werden. Laut Meta verbleiben die Sensordaten auf dem Gerät und werden gelöscht, sobald sie nicht mehr zur Datenverarbeitung benötigt werden.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Body Tracking

Das Körpertracking wird neben Meta Quest Pro auch von Meta Quest 2 unterstützt. Der Ausdruck ist etwas irreführend. Tatsächlich umfasst dieses Feature lediglich Kopf- und Handbewegungen. Bewegungen der Hüfte, Beine und Füße erfassen die Headsets nicht.

Das Body-Tracking-Feature des Movement SDKs ist für das Übertragen der Bewegungsdaten auf Avatare zuständig, und zwar so, dass diese möglichst natürlich aussehen.

Auch hier kommt maschinelles Lernen zum Einsatz. „Wir haben einen großen Datensatz mit realen menschlichen Bewegungen verwendet, um die Fehler zu korrigieren, die bei inverser Kinematik oder IK-basierten Ansätzen häufig auftreten“, erklärt der Meta-Produktmanager Vibhor Saxena. Das Verfahren der inversen Kinematik kommt aus der Robotik und beschreibt das maschinelle Schätzen des räumlichen Verhältnisses von Gliedmaßen auf Basis beschränkter Datenpunkte.

Metas Body-Tracking-Feature kam bislang nur in Metas Horizon-Produkten zum Einsatz. Nun steht sie Entwickelnden zur Verfügung und wird somit auch in anderen VR-Apps neben Horizon Home, Worlds und Workrooms realistischere Avatare ermöglichen, ohne dass Entwickelnde eigene IK-Modelle programmieren müssen. Das System ist flexibel: Es kann nahtlos zwischen Hand- und Controllertracking wechseln und lässt sich auf unterschiedlich geformte Skelette abbilden.

„Wir arbeiten hart daran, das Körpertracking in den kommenden Jahren weiter zu verbessern“, verspricht Saxena. Meinen dürfte er unter anderem Avatare mit simulierten Beinen, die bei Erscheinen wohl ebenfalls unter das Movement SDK fallen werden.

Falls ihr tiefer ins Thema einsteigen wollt: In folgender Developer Session erklärt Meta die Neuerungen des neuen SDKs.

Gut zu wissen: Das Movement SDK ist Bestandteil der Presence Platform, Metas Sammelbegriff für immersive Schnittstellen und SDKs. Meta unterteilt diese in die drei Säulen Mixed Reality (Insight SDK), Interaktionen (Interaction SDK und Voice SDK) und soziale Präsenz. Das Movement SDK ist das erste, das letzterer angehört.

Quest 2 & Quest Pro bestellen

Meta Quest 2 und Quest Pro wird in Deutschland noch nicht verkauft, ihr bekommt sie aber problemlos über Amazon Frankreich. Tipp: Rechtsklick auf die Webseite und “Übersetzen” wählen.

Quest Pro
256 GB Amazon