Update: 18.01.2020

Handtracking ist eines der wichtigsten Features für VR, wie das Handtracking für Oculus Quest beweist. Hier findet ihr alles, was ihr darüber wissen müsst.

Handtracking ist eine der Evolutions- oder sogar Revolutions-Stufen für Virtual Reality, die den Zugang zum Medium erheblich vereinfachen würde.

Sobald es möglich ist, ohne Controller in VR zu arbeiten oder zu spielen, fallen Einschränkungen durch Button-Belegungen, Nutzungsbeschränkungen durch Ladestatus und natürlich auch teilweise erhebliche Kosten weg. Beispielsweise kosten die Valve Index-Controller satte 159 Euro.

Den ersten Schritt ist Oculus mit der Veröffentlichung des Handtracking für die autarke VR-Brille Oculus Quest gegangen. Was das Handtracking kann, wie ihr es benutzt, worauf ihr achten solltet und welche Apps und Spiele damit arbeiten können, erfahrt ihr in diesem Artikel.

Wir werden diesen Artikel regelmäßig aktualisieren, packt ihn euch gern in eure Favoriten.

Letztes Update: 18.01.2020

Infos zum Handtracking für Quest & technischer Hintergrund

Auf der Oculus Connect 6 kündigte Facebook experimentelles KI-gestütztes Handtracking für die Oculus Quest an. Ursprünglich sollte dieses Feature erst im Frühjahr 2020 veröffentlicht werden. Handtracking wurde aber schon Anfang Dezember 2019 per Update auf die autarke VR-Brille gebracht.

Oculus bezeichnet das Handtracking als experimentell und als eine frühe Version. Das Tracking erfolgt über die verbauten Kameras der Quest. Die sind eigentlich aber gar nicht für Tiefenwahrnehmung geeignet, was aber für räumliches Tracking von Händen und Fingern zwingend notwendig ist.

Um den gewünschten Effekt zu erreichen trainierte Facebook eine KI mit Videos von Händen und programmierte einen Algorithmus darauf Finger, Fingerspitzen und Gelenke zu erkennen. Bestimmte Gesten wurden zudem aus mehreren Blickwinkeln aufgenommen und die KI darauf trainiert.

Mit der aktuellen Version des Handtracking für Oculus Quest ist es nicht möglich, überlappende Hände oder Finger darzustellen. Derzeit werden die Hände ausgeblendet, wenn sie sich zu nahekommen. Es gibt aber bereits wesentlich bessere Tracking-Modelle, mit denen Facebook auch schon arbeitet. Wann dieses verbesserte Tracking kommen wird und ob dafür gegebenenfalls bessere Kameras in einer Oculus Quest 2 notwendig sind, ist noch offen.

Prototypen & Weiterentwicklung

Mixed Reality Toolkit

Kürzlich zeigte ein Microsoft-Entwickler, wie er mittels Mixed Reality Toolkit (MRTK) den fließenden Wechsel von Handtracking zu Controllern bewerkstelligte. Mittels Knopfdruck auf dem Controller ist der Wechsel zum Eingabegerät ohne Probleme möglich, zurück muss man aber wieder den umständlichen Weg über das Menü gehen (siehe auch den nächsten Unterpunkt in diesem Artikel).

Physikdemo mit inverser Kinematik

Entwickler des Schweizer Startups Holonautic (Holoception, Webseite) haben eine ziemlich beeindruckende Physiksimulation rund um die virtuellen Hände der Quest geschaffen. Dabei werden die Finger selbst an komplexen Objekten physikalisch korrekt angezeigt und sie reagieren ebenfalls korrekt auf Krafteinwirkungen, beispielsweise Schieben oder Ziehen.

Die Kameras der Oculus Quest sind dabei aber nur teilweise von Nutzen: Positionen und Bewegungen der Arme werden nämlich, obwohl sie teilweise gar nicht von den Kameras gesehen werden können, durch inverse Kinematik berechnet und entsprechend animiert.

“Ich bin noch immer beeindruckt, wie mächtig das Gerät ist”, sagt der Entwickler bei Reddit. Möglicherweise wird es bald eine Tech-Demo dazu geben. Wir werden das in unser Liste der Handtracking-Apps (weiter unten im Artikel) berücksichtigen, sobald es soweit ist.

Oculus Quest Handtracking: Einstellungen & Nutzung

Aktivierung & Kalibrierung

Um das Handtracking generell verwenden zu können, müsst ihr über die Menüpunkte „Einstellungen“ und „Alle Ansehen“ zu „Experimentelle Funktionen“ navigieren und dort den Punkt „Handtracking“ aktivieren. Danach müssen die Hände durch Aufnahme von Bildern kalibriert werden.

Dabei spielt beispielsweise die Größe unserer Hände und ihre Position in VR eine Rolle. Oculus gibt an, dass keine Bilder oder sogenannte „geschätzte Punkte“ (etwa die Position der Gelenke) unserer Hände gespeichert oder anderweitig verarbeitet werden. Sie werden wieder gelöscht, sobald die Kalibrierung abgeschlossen ist

Nutzung der eigenen Hände in VR

Im Menü der Oculus Quest könnt ihr nun mit dem Controller über „Einstellungen“ gehen und dann den Unterpunkt „Hände verwenden“ anklicken. Tipp: Befestigt eure Controller über die Schlaufen an eurem Handgelenk und lasst sie dort baumeln.

Eure Hände sind jetzt als VR-Modelle zu sehen, sobald sie sich im Sichtfeld der Frontkameras der Oculus Quest befinden. Ihr könnt sie ganz natürlich bewegen, allerdings werden beide Hände derzeit ausgeblendet, wenn sie sich zu nahe kommen.

Zwischen Zeigefinger und Daumen befindet sich ein Marker, der als Pointer dient und auf einen großen Punkt zeigt, den ihr über Menüs und durch den Raum bewegen könnt. Führt ihr Zeigefinger und Daumen zusammen, könnt ihr etwa Programme starten oder mit einer passenden Handbewegung durch Menüs scrollen.

Um einen Menüpunkt oder ein Programm zu öffnen, etwa den Oculus Browser, müsst ihr den Zeigepunkt für kurze Zeit auf dem jeweiligen Button halten und Zeigefinger und Daumen kurz zusammenführen. Das Programm startet dann.

Wollt ihr einen Text eingeben, etwa im Browserfenster, erscheint das Tasten- und Zahlenfeld, aber leider nicht in Reichweite unserer Hände. Wir können also nicht mit dem Zeigefinger die entsprechenden Ziffern einfach antippen. Es bleibt hier bei der gleichen Funktionalität der Auswahl von Buchstaben durch Zusammenführen von Zeigefinger und Daumen, während der Cursor-Punkt auf der gewünschten Ziffer liegt.

Wenn ihr wieder auf die Controller zurückschalten wollt, müsst ihr wieder im Menü auf „Einstellungen“ und dann auf „Controller verwenden“ klicken.

Oculus Quest Handtracking: Alle Apps & Spiele in der Übersicht

Von Haus aus unterstützen derzeit nur das Quest-Menü, der Oculus-Browser oder Oculus TV das Handtracking. Darüber hinaus hat Oculus die Schnittstelle im Software Development Kit (SDK) Entwicklern zur Verfügung gestellt, damit sie neue Anwendungsmöglichkeiten finden und experimentieren.

Manche Apps oder Spiele sind nur über sogenanntes Sideloading (beispielsweise mittels SideQuest) zugänglich. Wie das funktioniert sagen wir euch in unserer Anleitung zum Sideloading für Oculus Quest. Die folgenden Apps und Spiele beinhalten Handtracking:

Native Apps & Spiele

NameArtPreisLink
Oculus Quest MenüMenü
Oculus BrowserAppkostenlos
Oculus TVAppkostenlos

Apps & Spiele, die Sideloading erfordern

NameArtSideloading viaPreisLink
Oculus Handtracking SDK DemoDemoSideQuestkostenlosOculus Handtracking SDK Demo auf SideQuest
Might of The Gods: Sun ShardSpiel / DemoSideQuestkostenlosMight of The Gods: Sun Shard auf SideQuest
MRTK Hands (+controllers) for QuestAppSideQuestkostenlosMRTK Hands (+controllers) for Quest auf SideQuest
Virtual PianoAppSideQuestkostenlosVirtual Piano auf SideQuest

Fazit zum Handtracking: Aktuell nur eingeschränkt nützlich, aber mit enormem Potential

Im Moment beschränkt sich das Handtracking auf einige wenige funktionale Anwendungen. Ein bisschen browsen, ein bisschen scrollen, etwas auswählen – das ist im Prinzip schon alles.

Dazu kommt, dass die Latenz deutlich spürbar ist: Handtracking fühlt sich ein bisschen wie unter Wasser an und ist häufig nicht auf den Punkt genau. Auch das frühe Ausblenden der Hände, sobald sich beide Hände zu nahekommen, ist ärgerlich. Zusätzlich hätte ich mir gewünscht, dass ich wenigstens mit den Fingern einen Text auf einem Textfeld tippen kann.

Andererseits ist es noch eine ganz frühe Version und trotzdem liegt hier die Zukunft für VR-Bedienung – das wird schnell deutlich. Wenn das Erleben einer kabellosen VR-Brille schon ein erhebliches Freiheitsgefühl bringt, dann addiert Handtracking die intuitive Nutzung und Interaktion mit der virtuellen Realität mit den eigenen Händen.

Unterm Strich zeigt selbst diese experimentelle Anwendung, dass Controller nur eine Übergangslösung sind und sein können. Wie schnell eine komplette Handtracking-Technologie nutzbar gemacht wird, ist nicht absehbar. Wahrscheinlich ist, dass dieser Fortschritt ebenfalls von Oculus kommt. Ihre experimentellen Demos sind schon beeindruckend und genug Selbstvertrauen hat die Facebook-Tochter allemal.

Letzte Aktualisierung am 22.01.2020 / Affiliate Links / Bilder von der Amazon Product Advertising API / Preis inkl. MwSt., zzgl. Versandkosten

Weiterlesen zum Thema Handtracking in VR

steady2

Der MIXED.de XR-Podcast #177

Jetzt reinhören: Facebook OS, Quest-Handtracking und VR-Kino | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.