Oculus Quest: Entwickler zeigt fließenden Wechsel von Hand- auf Controllertracking

Das Handtracking für Oculus Quest ist ein Zukunftsprojekt. Jetzt zeigt ein Microsoft-Entwickler, wie es noch besser werden könnte.

Im Dezember veröffentlichte Oculus ein experimentelles Handtracking-Update für Oculus Quest: Sobald Nutzer ihre Hände in das Sichtfeld der Kameras schieben, werden sie zum Eingabegerät. Zwar ist die Handerfassung leicht verzögert – es reicht, um Menüs zu bedienen, ein virtuelles Klavier könnte man jedoch nicht damit spielen.

Oculus Quest Handtracking: Erste Tests und Eindrücke

Mit dem Quest-Handtracking können Nutzer beispielsweise durch Menüs navigieren, ohne Controller in die Hand nehmen zu müssen. Allerdings müssen sie es zuvor manuell aktivieren. Bild: Oculus

Das ist allerdings Gemecker auf hohem Niveau, denn: Technisch ist es ein kleines Wunder, dass Echtzeit-Handtracking überhaupt auf dem Smartphone-Chip der Quest-Brille läuft, der ja gleichzeitig noch VR-Anwendungen berechnen muss. Facebook erreichte diese Tracking-Effizienz mit KI-Technik.

Etwas nervig ist es jedoch, dass Nutzer im Menü manuell zwischen Hand- und Controllertracking umschalten müssen. Anstatt also die Hände als Standardeingabe und die Controller als erweitertendes VR-Werkzeug zu haben, muss man sich vorab überlegen, ob man jetzt mit den Händen durchs Menü navigieren will oder doch die Quest-Controller braucht. Am Ende benutzt man dann meist die Controller, weil man sie früher oder später sowieso in die Hand nehmen muss.

Microsoft-Entwickler optimiert Oculus-Quest-Handtracking

Mixed-Reality-Entwickler Eric Provencher zeigt jetzt in Microsofts Programmiersoftware Mixed Reality Toolkit für Unity, wie es besser gehen könnte: Er adaptierte die Handsteuerungsdemo für Hololens 2 (Vorabtest) für Oculus Quest und integrierte einen fließenden Übergang von Hand- auf Controllersteuerung.

Improved my fork of #MRTK for Quest.
Now with support for swapping hands for controllers at runtime! Toggling for hands from the system settings also works!
Also added a few other bug fixes, including correct finger tip cursor rotation and much better feeling pinching. pic.twitter.com/h33QAhhwoV
— Eric prvncher (@prvncher) December 31, 2019

Für den Hand- auf Controllerwechsel muss zuvor ein Knopf am Controller gedrückt werden. Um dann wieder zu den Händen zurückzukehren, steht leider wieder der bekannte Umweg über das Oculus-Systemmenü an. Die Königslösung wäre natürlich, dass Hände und Controller immer gleichzeitig erfasst würden – so entstünden neue Anwendungsszenarien.

Wer die Demo einmal selbst testen will, kann sie über die Softwareplattform Sidequest kostenlos herunterladen und installieren. Wie ihr Sidequest richtig einsetzt, lest ihr in unserem Sidequest-Guide. Bei Sidequest gibt es auch die ersten Handtracking-Apps für Quest.

Provencher zeigt noch eine zweite Demo: Hier erweitert er die Oculus-Hände um Menüs, die erscheinen, sobald man die Hand mit der Handinnenfläche nach oben dreht. Entwickler finden das Mixed Reality Toolkit bei Github.

Made some improvements to the #MRTK @Oculus extension by @tarukosu.
Top changes:
– Fixed palm rotations to match what HoloLens 2 provides
– This makes hand menus work + added a nifty flip behavior to the hand menu
– Make use of Oculus hand rays, which are much more stable pic.twitter.com/QJmKQyEEZT
— Eric prvncher (@prvncher) December 30, 2019