Im Rahmen der Oculus Connect 6 stellte Facebook das neue Handtracking für Oculus Quest vor. Robert Wang, der leitende Ingenieur des Handtracking-Teams, erklärt, wie Facebook mit KI die Hände erkennt.

Die Hand als Controller habe drei Vorteile, sagt Wang: Sie sei, anders als andere Eingabegeräte, immer dabei, und ein wichtiger Bestandteil von sozialer und eigener Wahrnehmung.

Die Facebook-Ingenieure standen jedoch vor einem Problem: Qualitativ hochwertiges Tracking ist mit Tiefenkameras und Markern an den Händen problemlos möglich. Die Oculus Quest hat jedoch nur herkömmliche Schwarz-Weiß-Kameras verbaut.

Die haben zwar ein weites Sichtfeld, sind außerdem leicht und günstig, aber sie übertragen keine Tiefeninformationen. Erst Künstliche Intelligenz ermöglicht Facebook, genaues Handtracking in die Quest zu implementieren.

Facebook trainierte eine KI mit hunderten Handvideos

Dafür erkennt ein Algorithmus zuerst Hände innerhalb des Sichtfelds und umgibt sie mit einer Box. Innerhalb dieser Box identifiziert die KI anschließend Finger, Fingerspitzen und Gelenke. Anhand dieser Schlüsselpunkte erstellt die KI ein räumliches Modell der Hand und stülpt ihr ein 3D-Modell über.

| Oculus Handtracking KI 1

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: OpenXR, Oculus Half Dome und Fake-Holodecks | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.