Auf der XR-Entwicklerkonferenz Oculus Connect demonstriert Facebook Handtracking für die VR-Brille Oculus Quest. Das Zwischenfazit der Tester vor Ort fällt gemischt aus, aber es bleibt Zeit für Verbesserungen.

Mit Handtracking soll Facebooks VR-Brille Oculus Quest noch intuitiver werden: Nutzer müssen nicht mal mehr zwei VR-Controller mit vielen Knöpfen dran in die Hand nehmen, um Menüs zu bedienen oder virtuelle Objekte zu berühren.

Klar, Spieler bleiben beim Controller, weil der wie ein Schweizer Taschenmesser fürs Gaming ist und viele Vorteile bietet. Aber für die generelle Bedienung der Brillenmenüs und ausgewählte Spiele und Apps könnte das Handtracking ein großer Vorteil sein – wenn es denn verlässlich funktioniert.

Quest-Handtracking funktioniert, aber neigt noch zu Aussetzern

Die Hände werden durch die beiden in der Vorderseite der Quest-Brille eingelassenen Kameras erfasst und in der VR-Welt in ein 3D-Modell übersetzt.

Die Größe der virtuellen Hände stimmte bei den Testern nicht genau mit der Größe der eigenen Hände überein, beispielsweise konnten die Fingerspitzen nicht präzise zusammengeführt werden.

Aber Bewegungen der Hände und Finger werden exakt übertragen und Gesten “bemerkenswert akkurat” interpretiert, schreibt Sam Machkovech von Ars Technica: Mittelfinger, Daumen hoch, OK-Zeichen – alles kein Problem. Das Tracking funktioniere sogar besser als mit der Fingertrackingkamera Leap Motion, auch bei schnellen Bewegungen.

Zu Aussetzern soll es dennoch kommen, beispielsweise wenn man die Hände zusammenführt oder aus dem Blickfeld der Brillenkameras bewegt. Auch der deutsche YouTuber Voodoode berichtet über Aussetzer beim Tracking aufgrund des schmalen Sichtfelds. Führt man die Hände zurück vor die Kameras, springt das Tracking wieder an – diese Wiedererkennung soll nach Schätzungen etwa eine halbe Sekunde bis Sekunde benötigen.

Aktuell läuft die Handerkennung nur mit 30 Bildern pro Sekunde, Oculus Quest selbst gibt 72 Bilder pro Sekunde wieder. Laut Oculus-Technikchef John Carmack liegt die Latenz bei circa 80 Millisekunden, dürfte also spürbar sein.

KI-Bewegungsprognose: Handtracking könnte noch besser werden

Die YouTuber von Tested haben Probleme ausgemacht, wenn sich die Hände perspektivisch gegenseitig verdecken – mehr noch als bei den Oculus-Touch-Controllern. Dann wird eine der beiden Hände einfach ausgeblendet.

Die KI-gestützte Vorhersage von Handbewegungen, und mit ihr ein robusteres Tracking, sei noch nicht vollständig implementiert. Die Verschränkung der Finger beispielsweise soll bis zum offiziellen Start der Software möglich sein.

Für Spiele eignet sich das Tracking ob der beschriebenen Probleme eher nicht, aber um Menüs zu bedienen, oder in speziellen Trainingsszenarien für Unternehmen, könnte es sich als hilfreich erweisen. Denn für Nicht-Spieler ist die Eingabe mit den eigenen Händen viel intuitiver als mit Game-Controllern, außerdem ist die Handpräsenz stärker. Facebook selbst demonstrierte das Handtracking mit einer Lern-App, in der Angestellte einer Versicherung lernen sollen, einen Wasserschaden zu prüfen.

Eine gute Nachricht für Entwickler: Laut Facebooks Computer-Vision-Spezialist Mark Silliman benötigt das Handtracking nicht besonders viel Rechenleistung. Die ist bei der autarken Quest-Brille nämlich besonders knapp – zumindest dann, wenn sie nicht via Oculus Link mit dem PC verbunden ist.

Facebook selbst bezeichnet das Handtracking noch als “experimentell”, weiß also um die aktuellen Schwächen. Bis zur Veröffentlichung im Frühjahr 2020 bleibt dem Unternehmen allerdings noch Zeit für Verbesserungen.

Quellen: Engadget, Ars Technica, Tested, Cnet, UploadVR

Weiterlesen über Oculus Connect 6:


MIXED-Podcast #165: Die Zukunft von Oculus | Alle Folgen


Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.