Meta Quest Pro: Entwickler führt realistischen Avatar vor

30.11.2022 Tomislav Bezmalinovic

Meta Quest Pro kann Bewegungen der Augen, des Körpers und Gesichts auf Avatare übertragen. Metas Beispielprojekte zeigen, was möglich ist.

Quest Pro ist das erste Meta-Headset mit Blick- und Gesichtsverfolgung. Mit dem brandneuen Movement SDK können Entwickelnde die neuen Hardware-Features seit Kurzem in ihre Apps implementieren, um Avatare realistischer und ausdrucksstärker erscheinen zu lassen.

Das Movement SDK hat drei Bestandteile:

• Face Tracking (nur von Meta Quest Pro unterstützt),
• Eye Tracking (nur von Meta Quest Pro unterstützt) und
• Body Tracking (von Meta Quest Pro und Meta Quest 2 unterstützt).

Letzterer Ausdruck ist unglücklich gewählt von Meta, da beide Headsets allein Kopf- und Handbewegungen, also drei Körperpunkte im Raum, tracken. Bewegungen der Hüfte, Beine und Füße erfassen sie nicht.

Body Tracking ist für die Übertragung erfasster Körperpunkte auf Avatare zuständig, mit dem Ziel, Bewegungen des gesamten Körpers so realistisch wie möglich aussehen zu lassen. Hierbei kommt ein mit menschlichen Bewegungen trainiertes KI-Modell zum Einsatz.

Dieses Feature war bis vor Kurzem Metas Horizon-Produkten vorbehalten. Nun steht sie allen Entwickelnden zur Verfügung und könnte somit auch in anderen VR-Apps anfangen, Avataren Leben einzuhauchen.

Meta veröffentlicht Beispielprojekte

Auf Github bietet Meta einen Sample-Code an, der Entwickler:innen erlaubt, die unterschiedlichen Aspekte des Movement SDK anhand konkreter Beispiele näher kennenzulernen.

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Der Sample-Code umfasst folgende Bestandteile:

• den fantastischen Alien-Charakter Aura, die die Möglichkeiten der Blick- und Gesichtsverfolgung demonstriert,
• einen realistischen Avatar, der zeigen soll, wie Face Tracking, Eye Tracking und Body Tracking zusammenarbeiten, um eine überzeugende AAA-Spielerfahrung zu schaffen, sowie
• zwei Demos, die die Interaktion zwischen Body Tracking und virtuellen Objekten und die Übertragung erfasster Körüerpunkte auf unterschiedliche humanoide Charaktermodelle vorführen.

Aura und den realistischen Avatar zeigte Meta gelegentlich. Mit dem Sample-Code stehen diese jetzt Entwickelnden für Experimente und zu Vorführzwecken zur Verfügung.

Das Movement SDK in Aktion

Der XR-Entwickler und Youtuber Dilmer Valecillos ließ sich diese Gelegenheit nicht entgehen und demonstriert die Features des Movement SDK in einem Video. Dabei spielt er auch mit Metas Sample-Code und geht die einzelnen Bestandteile durch.

Weshalb Meta keine richtigen Demos für die neue Blick- und Gesichtserfassung anbietet? Das ist eine gute Frage, die auch in der MIXEDCast-Folge #325 aufkam.

Ben und Christian beschreiben in der Folge ihre Erfahrungen mit Meta Quest Pro und fragen sich dabei mit Recht, weshalb dem Headset keine Demos beiliegen, die auf unterhaltsame Weise in die eindrücklichen neuen Hardware-Features einführen. Ein Versäumnis, das zeigt, dass sich Meta Quest Pro in erster Linie an Entwickelnde richtet, aber dennoch ein Armutszeugnis ist in Anbetracht des hohen Gerätepreises.

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.