SteamVR: Fingertracking per Neuro-Interface
Hand- und Fingertracking sind in der XR-Zukunft als Standard-Interface fix eingeplant. Ein Entwickler zeigt jetzt bei SteamVR, wie Fingertracking mit einem Myo-Armband funktionieren könnte.
So ziemlich jeder größere Hersteller im XR-Bereich befasst sich mit Hand- und Fingertracking: Die Controller von Valve Index (Test) haben rudimentäres Hand- und Fingertracking per Sensor eingebaut, HTC bietet bei Vive-Brillen einen Fingertracking-Algorithmus. Sonys neue VR-Controller für PSVR 2 dürften ebenfalls eine Form des Fingertrackings bieten.
Hinzu kommen Hersteller von speziellen Modulen wie Ultraleap, die teils mit VR- und AR-Brillenherstellern für Zubehör kooperieren. AR-Brillenhersteller wie Microsoft oder Nreal bieten Hand- und Fingertracking ebenfalls als XR-Eingabemethode an.
Neurales Fingertracking bei SteamVR
MIXED.de ohne WerbebannerAuch Facebook setzt auf ein EMG-Armband für XR-Brillen
Der größte Vorteil der EMG-Fingertrackingtechnik ist, dass sie immer funktioniert, sogar dann, wenn die Hand in der Tasche steckt. Sind die Fingerbewegungen, die bei EMG benötigt werden, um Aktionen auf dem Bildschirm auszulösen, subtil genug, eignet sich die Fingertrackingtechnik daher als diskrete Eingabemethode für Alltags-AR-Brillen.
Bei optischem Fingertracking hingegen muss die Hand stets im Sichtfeld der Kamera bleiben, was die Technik für den Alltag weitgehend disqualifiziert. Dafür muss für EMG-Fingertracking zwingend ein Sensor getragen werden, optisches Fingertracking funktioniert ohne Zubehör.
Auf die Alltagstauglichkeit von EMG-Tracking setzt unter anderem Facebook bei seiner Forschung zu einem Armband, das mit EMG-Technik und Künstlicher Intelligenz elektrische Muskelsignale am Handgelenk abgreift und als Computerbefehle interpretiert. Auch die ETH Zürich zeigte kürzlich ein EMG-Armband für Hand- und Fingertracking.
Der Reddit-Entwickler PerlinWarp stellt sein prototypisches SteamVR-EMG-Handtracking als Open Source bei Github zur Verfügung. Eine Spieledemo bietet er mit Neuro-Breakout ebenfalls bei Github an. Bei Fragen könnt ihr euch in seinem Discord-Kanal an ihn wenden.
Für einen Test benötigt ihr einen EMG-Sensor am Unterarm. PerlinWrap benutzt ein älteres Myo-Armband, das mittlerweile nicht mehr hergestellt wird.
Weiterlesen über Tracking-Technologie:
- VR-Trackingsysteme: Welches trackt am genauesten?
- Tensorflow: Neues 3D-Bodytracking läuft im Browser - probiert es selbst
- Quest Pro: Neuer Hinweis auf Eye- und Facetracking
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
