Update: 11.03.2020

Handtracking ist eines der wichtigsten Features für VR. Was es bringt, wie ihr Handtracking aktiviert und welche Apps und Spiele es dafür gibt, erfahrt ihr hier.

Eine der Evolutions- oder sogar Revolutions-Stufen für Virtual Reality, die den Zugang zum Medium erheblich vereinfachen würde, ist das Erfassen der eigenen Hände und Finger, sogenanntes Handtracking.

Sobald es möglich ist, ohne Controller in VR zu arbeiten oder zu spielen, fallen Einschränkungen durch Button-Belegungen, Nutzungsbeschränkungen durch Ladestatus und natürlich auch teilweise erhebliche Kosten weg. Beispielsweise kosten die Valve Index-Controller satte 159 Euro.

Den ersten Schritt ist Oculus mit der Veröffentlichung des Handtracking für die autarke VR-Brille Oculus Quest gegangen. Wie ihr Handtracking aktiviert und anwendet, worauf ihr achten solltet und welche Apps und Spiele damit arbeiten, erfahrt ihr in diesem Artikel.

Wir werden diesen Artikel regelmäßig aktualisieren, packt ihn euch gern in eure Favoriten.

Letztes Update: 11.03.2020

Infos zum Handtracking für Quest & technischer Hintergrund

Auf der Oculus Connect 6 kündigte Facebook experimentelles KI-gestütztes Handtracking für die Oculus Quest an. Ursprünglich sollte dieses Feature erst im Frühjahr 2020 veröffentlicht werden. Handtracking wurde aber schon Anfang Dezember 2019 per Update auf die autarke VR-Brille gebracht.

Oculus bezeichnet das Handtracking als experimentell und eine frühe Version. Das Tracking erfolgt über die verbauten Kameras der Quest. Die sind eigentlich aber gar nicht für Tiefenwahrnehmung geeignet, was aber für räumliches Tracking von Händen und Fingern zwingend notwendig ist.

Um den gewünschten Effekt zu erreichen trainierte Facebook eine KI mit Videos von Händen und programmierte einen Algorithmus darauf Finger, Fingerspitzen und Gelenke zu erkennen. Bestimmte Gesten wurden zudem aus mehreren Blickwinkeln aufgenommen und die KI darauf eingestellt.

Mit der aktuellen Version des Handtracking für Oculus Quest ist es noch nicht möglich, überlappende Hände oder Finger darzustellen. Derzeit werden die Hände ausgeblendet, wenn sie sich zu nahekommen. Es gibt aber bereits wesentlich bessere Tracking-Modelle, mit denen Facebook auch schon arbeitet. Wann verbessertes Tracking kommt und ob dafür gegebenenfalls bessere Kameras in einer Oculus Quest 2 notwendig sind, ist noch offen.

Anleitung für Entwickler

Oculus veröffentlichte eine Anleitung für Entwickler, in dem der optimale Umgang mit Handtracking für die Quest erläutert wird: “Die Hände sind eine vielversprechende neue Eingabemethode, aber es gibt Grenzen für das, was wir heute umsetzen können, aufgrund der Einschränkungen durch die Bildverarbeitung und das Tracking. Die folgenden Gestaltungsrichtlinien ermöglichen es Ihnen, Inhalte zu erstellen, die innerhalb dieser Einschränkungen funktionieren.”

In der Anleitung finden sich Vorteile, beispielsweise die intuitive und sofortige Nutzung von VR ohne Controller, aber auch Schwierigkeiten, etwa ein begrenzter Trackingbereich oder Verdeckung. In den “Best Practices” geht Oculus deshalb darauf ein, wie Entwickler um diese Probleme herumarbeiten können.

Schematische Darstellung der Verdeckung der Hände beim Handtracking mit der Oculus Quest

Entwickler müssen beim Handtracking viele Dinge beachten, etwa die Verdeckung der Hände. BILD: Oculus

Eine Limitierung der interpretierbaren Gesten ist zwingend nötig. Warum? Mit den Händen können wir hunderte verschiedene Gesten ausführen, die sich teilweise nur marginal voneinander unterscheiden. Für die Technik stellt das ein Problem dar, da sie exakt interpretieren muss, um den gewünschten Effekt zu erzielen. “Diese Einschränkungen tragen dazu bei, die Genauigkeit zu erhöhen, und erleichtern die Navigation im System oder die Durchführung einer Interaktion”, heißt es im Online-Dokument.

Direkte Tipps und Tricks für die Handtracking-Umsetzung finden Entwickler in den Sektionen “Interactions” und “User Interface Components”. Erstere geht beispielsweise auf direkte und indirekte Interaktion ein. Hier spielt die Distanz zum zu bedienenden Objekt eine wichtige Rolle. Die Interface-Tipps handeln unter anderem von verschiedenen Auswahlmethoden, angefangen bei “simplen” Buttons, bis hin zu Kreismenüs.

Prototypen & Weiterentwicklung

Händeschütteln in VR

Im folgenden Video von Entwickler Dennys Kuhnert (reddit: Acetylan) seht ihr realistische Interaktionen zwischen den Händen. Der Entwickler klonte sich in VR selbst und zeigt, dass realistische Handinteraktionen mit virtuellen Händen eines Gegenüber möglich sind.

Physikdemo mit inverser Kinematik

Entwickler des Schweizer Startups Holonautic (Holoception, Webseite) haben eine ziemlich beeindruckende Physiksimulation rund um die virtuellen Hände der Quest geschaffen. Dabei werden die Finger selbst an komplexen Objekten physikalisch korrekt angezeigt und sie reagieren ebenfalls korrekt auf Krafteinwirkungen, beispielsweise Schieben oder Ziehen.

Die Kameras der Oculus Quest sind dabei aber nur teilweise von Nutzen: Positionen und Bewegungen der Arme werden nämlich, obwohl sie teilweise gar nicht von den Kameras gesehen werden können, durch inverse Kinematik berechnet und entsprechend animiert.

“Ich bin noch immer beeindruckt, wie mächtig das Gerät ist”, sagt der Entwickler bei Reddit. Möglicherweise wird es bald eine Tech-Demo dazu geben. Wir werden das in unser Liste der Handtracking-Apps (weiter unten im Artikel) berücksichtigen, sobald es soweit ist.

Realistische Handinteraktion mit VirtualGrasp

Das Schweizer Start-up Gleechi will eine plattformübergreifende Schnittstelle für komplexe Interaktionen anbieten, die auf realistischer Physik basieren. Die Software soll plattformagnostisch sein und sowohl mit dem optischen Handtracking der Oculus Quest funktionieren, als auch mit Controllern wie Oculus Touch oder Haptikhandschuhen.

Handtracking-Experimente in Waltz of the Wizard

In Waltz of the Wizard betreiben wir Experimente in einem Zauber-Labor. Die Entwickler veröffentlichten jetzt ein Video, das Handtracking in Waltz of the Wizard zeigt.

Einen Release-Termin für ein Update gibt es aber noch nicht.

Haptisches Feedback mit Handtracking: Dein Tisch in VR

Mit der App “Haptic Feedback – Virtualize your table” (siehe Link weiter unten) könnt ihr in der Einrichtungsphase mit den Händen die Höhe eurer Tischplatte verwenden.

Wenn ihr dann die rudimentären Demo-Anwendungen ausprobiert, etwa Buttons bedienen, ein Produkt drehen und betrachten sowie auf einer weißen Fläche malen, bekommt ihr haptisches Feedback durch euren realen Tisch.

Oculus Quest Handtracking: Updates

  • Firmware Update 13
    Mit Update 13 wurde die Performance des Handtrackings verbessert. Außerdem könnt ihr automatisch vom Handtracking zu den Controllern wechseln, indem ihr sie in die Hand nehmt und verwendet. Alle Infos zum Oculus Quest-Update 13 findet ihr in unserer Update-News.
  • Oculus Browser 8.0
    Das aktuelle Update für Oculus Browser fügt Handtracking-Support für WebXR-Apps hinzu. Allerdings werden die Hände nicht dargestellt, sondern als Controller emuliert. Um das Handtracking in Oculus Browser zu aktivieren, navigiert im Oculus Browser zur Webadresse chrome://flags und schaltet das Handtracking und die gewünschte Variante dort ein.

Oculus Quest Handtracking: Aktivieren, Einstellungen & Anwendung

Aktivierung & Kalibrierung

Um das Handtracking generell verwenden zu können, müsst ihr über die Menüpunkte „Einstellungen“ und „Alle Ansehen“ zu „Experimentelle Funktionen“ navigieren und dort den Punkt „Handtracking“ aktivieren. Danach müssen die Hände durch Aufnahme von Bildern kalibriert werden.

Dabei spielt beispielsweise die Größe unserer Hände und ihre Position in VR eine Rolle. Oculus gibt an, dass keine Bilder oder sogenannte „geschätzte Punkte“ (etwa die Position der Gelenke) unserer Hände gespeichert oder anderweitig verarbeitet werden. Sie werden wieder gelöscht, sobald die Kalibrierung abgeschlossen ist

Nutzung der eigenen Hände in VR

Im Menü der Oculus Quest könnt ihr nun mit dem Controller direkt auf den Menüpunkt „Hände verwenden“ anklicken und damit das Handtracking aktivieren. Tipp: Befestigt eure Controller über die Schlaufen an eurem Handgelenk und lasst sie dort baumeln. Wenn ihr sie in die Hand nehmt und ggf. einschaltet, wechselt die Eingabemethode automatisch auf die Controller.

Der Wechsel zurück zu den Händen kann automatisch erfolgen, wenn die Controller ruhig im Trackingbereich abgelegt werden. Das funktioniert aber nicht immer zuverlässig, gegebenenfalls muss die Schaltfläche im Menü wieder angewählt werden.

Quelle der obigen Demo: Dennys Kuhnert / Acetylan

Eure Hände sind jetzt als VR-Modelle zu sehen, sobald sie sich im Sichtfeld der Frontkameras der Oculus Quest befinden. Das schränkt die exakte Nutzung ein wenig ein, die beste Performance erhaltet ihr relativ frontal vor der VR-Brille, aber nicht zu weit entfernt. Ihr könnt eure Hände ganz natürlich bewegen, allerdings werden beide Hände derzeit ausgeblendet, wenn sie sich zu nahe kommen.

Zwischen Zeigefinger und Daumen befindet sich ein Marker, der als Pointer dient und auf einen großen Punkt zeigt, den ihr über Menüs und durch den Raum bewegen könnt. Führt ihr Zeigefinger und Daumen zusammen, könnt ihr etwa Programme starten oder mit einer passenden Handbewegung durch Menüs scrollen.

Um einen Menüpunkt oder ein Programm zu öffnen, etwa den Oculus Browser, müsst ihr den Zeigepunkt für kurze Zeit auf dem jeweiligen Button halten und Zeigefinger und Daumen kurz zusammenführen. Das Programm startet dann.

Wollt ihr einen Text eingeben, etwa im Browserfenster, erscheint das Tasten- und Zahlenfeld, aber leider nicht in Reichweite unserer Hände. Wir können also nicht mit dem Zeigefinger die entsprechenden Ziffern einfach antippen. Es bleibt hier bei der gleichen Funktionalität der Auswahl von Buchstaben durch Zusammenführen von Zeigefinger und Daumen, während der Cursor-Punkt auf der gewünschten Ziffer liegt.

Oculus Quest Handtracking: Spiele & Apps in der Übersicht

Von Haus aus unterstützen derzeit nur das Quest-Menü, der Oculus-Browser oder Oculus TV das Handtracking. Darüber hinaus hat Oculus die Schnittstelle im Software Development Kit (SDK) Entwicklern zur Verfügung gestellt, damit sie neue Anwendungsmöglichkeiten finden und experimentieren.

Anwendungen und Spiele mit Handtracking sind aufgrund des experimentellen Status des Features derzeit nicht für den offiziellen Quest-Store zugelassen. Das wird sich auch erst ändern, wenn Oculus mit der Technologie soweit zufrieden ist, dass sie als vollwertiges Feature gewertet wird.

Manche Apps oder Spiele sind nur über sogenanntes Sideloading (beispielsweise mittels SideQuest) zugänglich. Wie das funktioniert sagen wir euch in unserer Anleitung zum Sideloading für Oculus Quest. Die folgenden Apps und Spiele beinhalten Handtracking:

Native Apps & Spiele, die Handtracking unterstützen

NameArtPreisLink
Oculus Quest MenüMenü
Oculus BrowserAppkostenlos
Oculus TVAppkostenlos

Handtracking Spiele & Apps, die Sideloading erfordern

NameArtSideloading viaPreisLink
Oculus Handtracking SDK DemoDemoSideQuestVRkostenlosOculus Handtracking SDK Demo auf SideQuestVR
Might of The Gods: Sun ShardSpiel / DemoSideQuestVRkostenlosMight of The Gods: Sun Shard auf SideQuestVR
MRTK Hands (+controllers) for QuestAppSideQuestVRkostenlosMRTK Hands (+controllers) for Quest auf SideQuestVR
ScribbleApp / KunstSideQuestVRkostenlosScribble auf SideQuestVR
Tea For GodSpielSideQuestVRkostenlosTea For God auf SideQuestVR
Virtual PianoApp / MusikSideQuestVRkostenlosVirtual Piano auf SideQuestVR
HandSpaceAppSideQuestVRkostenlosHandSpace auf SideQuestVR
Haptic Feedback – Virtualize your tableAppSideQuestVRkostenlosHaptic Feedback – Virtualize your table auf SideQuestVR

 

Quelle der obigen Demo: Dennys Kuhnert / Acetylan

Fazit zum Handtracking: Im Oculus-Menü jetzt sehr nützlich, aber noch weiter ausbaufähig

Im Moment beschränkt sich das Handtracking auf einige wenige funktionale Anwendungen. Ein bisschen browsen, ein bisschen scrollen, etwas auswählen – das ist im Prinzip schon alles.

Mit Update 13 wurde die Latenz deutlich kleiner: Hand- und Fingertracking fühlt sich jetzt direkter und schneller an, nicht mehr wie unter Wasser. Die Latenz ist zwar weiter spürbar, wenn man genau drauf achtet, in der Anwendung beim browsen im Menü fällt es aber kaum noch auf.

Auch an der Genauigkeit wurde gearbeitet: Ich kann jetzt sehr komfortabel zwischen den Menüs wechseln, Apps installieren oder scrollen.

Die Aktivierung durch Zusammenführen von Zeigefinger und Daumen ist noch etwas sensibel und greift schon, bevor sich die Finger wirklich berühren. Daran konnte ich mich schnell gewöhnen. Das Ausblenden der Hände, sobald sich beide Hände nahe kommen, greift jetzt später als noch in der ersten Handtracking-Version: Ich kann die Fingerspitzen beider Hände beinahe zusammenführen, bevor die Ausblendung einsetzt.

Einen Text auf einem Textfeld  mit den Fingern zu tippen geht leider weiterhin nicht.

Es handelt sich immer noch um eine frühe Version des Handtrackings und trotzdem liegt hier die Zukunft für VR-Bedienung – das wird schnell deutlich. Wenn eine kabellose VR-Brille schon ein erhebliches Freiheitsgefühl bringt, dann erhöht Handtracking das nochmal um die intuitive Nutzung und Interaktion mit der virtuellen Realität mittels eigener Hände.

Mit Update 13 wird die Menübedienung mit Hand und Fingern zu einer sinnvollen Alternative: Ich brauche die Controller erst, wenn ich eine App starte und dann kann ich die Touch-Controller einfach in die Hand nehmen und der Wechsel geschieht sofort automatisch. Das ist klasse.

Unterm Strich zeigt diese experimentelle Anwendung, dass Controller nur eine Übergangslösung sind und sein können. Wie schnell eine komplette Handtracking-Technologie nutzbar gemacht wird, ist nicht absehbar. Wahrscheinlich ist, dass dieser Fortschritt ebenfalls von Oculus kommt. Ihre experimentellen Demos sind schon beeindruckend und genug Selbstvertrauen hat die Facebook-Tochter allemal.

5,00 EUR
Oculus Quest All-in-one VR Gaming Headset – 64GB
1.641 Bewertungen
5,00 EUR
Oculus Quest All-in-one VR Gaming Headset – 128GB
1.641 Bewertungen

Letzte Aktualisierung am 8.04.2020 / Affiliate Links / Bilder von der Amazon Product Advertising API / Preis inkl. MwSt., zzgl. Versandkosten

Weiterlesen zum Thema Handtracking in VR

steady2

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Pokémon-Go-Chear zur AR-Cloud | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.