Im Rahmen der Oculus Connect 6 stellte Facebook das neue Handtracking für Oculus Quest vor. Robert Wang, der leitende Ingenieur des Handtracking-Teams, erklärt, wie Facebook mit KI die Hände erkennt.

Die Hand als Controller habe drei Vorteile, sagt Wang: Sie sei, anders als andere Eingabegeräte, immer dabei, und ein wichtiger Bestandteil von sozialer und eigener Wahrnehmung.

Die Facebook-Ingenieure standen jedoch vor einem Problem: Qualitativ hochwertiges Tracking ist mit Tiefenkameras und Markern an den Händen problemlos möglich. Die Oculus Quest hat jedoch nur herkömmliche Schwarz-Weiß-Kameras verbaut.

Die haben zwar ein weites Sichtfeld, sind außerdem leicht und günstig, aber sie übertragen keine Tiefeninformationen. Erst Künstliche Intelligenz ermöglicht Facebook, genaues Handtracking in die Quest zu implementieren.

Facebook trainierte eine KI mit hunderten Handvideos

Dafür erkennt ein Algorithmus zuerst Hände innerhalb des Sichtfelds und umgibt sie mit einer Box. Innerhalb dieser Box identifiziert die KI anschließend Finger, Fingerspitzen und Gelenke. Anhand dieser Schlüsselpunkte erstellt die KI ein räumliches Modell der Hand und stülpt ihr ein 3D-Modell über.

Für das Handtracking setzt Oculus auf KI - nur so lässt sich die Technik mit den in der Quest verbauten Kameras realisieren. Bild: Oculus.

Für das Handtracking setzt Oculus auf KI – nur so lässt sich die Handeingabe mit den in der Quest verbauten Kameras realisieren. Bild: Facebook

Damit die KI überhaupt Hände erkennt, trainierte Facebook sie mit dutzenden Stunden an Videomaterial, in dem Handbewegungen von hunderten Personen an verschiedenen Orten mit unterschiedlicher Belichtung zu sehen sind.

Besonderen Wert beim Training legte Facebook auf bestimmte Handbewegungen, die häufig für Interaktionen in der virtuellen Welt genutzt werden. Ein Beispiel: Das Zusammenführen von Zeigefinger und Daumen.

Wichtige Gesten werden extra trainiert. Bild: Oculus.

Wichtige Gesten werden extra trainiert. Bild: Facebook

Solche Gesten nimmt Facebook mit speziellen Kameravorrichtungen aus mehreren Blickwinkeln auf. Mit den Daten lernt die KI anschließend, die Gesten verlässlicher zu erkennen.

Nach dem Extratraining finden Zeigefinger und Daumen im 3D-Modell endlich zusammen. Bild: Oculus.

Nach dem Extratraining finden Zeigefinger und Daumen im 3D-Modell endlich zusammen. Bild: Facebook

Den Ingenieuren gelang es außerdem, das KI-Modell zu verkleinern – von ursprünglich 52 MB auf 3,2 MB. Mit aktiviertem Tracking verliere die Quest kaum mehr Strom, so Wang. Insgesamt reduziere sich die Spielzeit nur um sieben Minuten gemessen am Energiebedarf des Akkus.

Quest: Noch genaueres Tracking ist möglich

Laut Wang existieren noch wesentlich genauere Tracking-Modelle, die die Interaktion der Hände miteinander ermöglichen: Hände verschränken, einen Stift übergeben oder das genaue Tracking der Hände am Controller sei so möglich.

Oculus hat noch besseres Handtracking entwickelt. Auch das soll für Quest kommen - wann ist nicht bekannt. Bild: Oculus.

Oculus hat noch besseres Handtracking entwickelt. Auch das soll für Quest kommen – wann, ist nicht bekannt. Bild: Facebook

Man wolle diese Modelle auch für Oculus Quest verwenden. Wann und ob Facebook das bessere Tracking veröffentlicht, sagt Wang nicht. Bei den Demos auf der Oculus Connect 6 war es noch nicht implementiert.

Für Oculus Quest 2, sofern die VR-Brille denn kommt, wäre hochwertiges Handtracking sicherlich das Standardeingabeschema – in Kombination mit Controllern, wenn man diese benötigt. Auch für eine mögliche Oculus Go 2 ist Handtracking laut Oculus-CTO John Carmack ein Thema.

Quelle: Oculus

Weiterlesen über Oculus Connect:


MIXED-Podcast #165: Die Zukunft von Oculus | Alle Folgen


Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.