SteamVR: Fingertracking per Neuro-Interface
Hand- und Fingertracking sind in der XR-Zukunft als Standard-Interface fix eingeplant. Ein Entwickler zeigt jetzt bei SteamVR, wie Fingertracking mit einem Myo-Armband funktionieren könnte.
So ziemlich jeder größere Hersteller im XR-Bereich befasst sich mit Hand- und Fingertracking: Die Controller von Valve Index (Test) haben rudimentäres Hand- und Fingertracking per Sensor eingebaut, HTC bietet bei Vive-Brillen einen Fingertracking-Algorithmus. Sonys neue VR-Controller für PSVR 2 dürften ebenfalls eine Form des Fingertrackings bieten.
Hinzu kommen Hersteller von speziellen Modulen wie Ultraleap, die teils mit VR- und AR-Brillenherstellern für Zubehör kooperieren. AR-Brillenhersteller wie Microsoft oder Nreal bieten Hand- und Fingertracking ebenfalls als XR-Eingabemethode an.
___STEADY_PAYWALL___Viele Handtracking-Ansätze verfolgen einen optischen Ansatz in Kombination mit KI: Kameras filmen Hand und Finger, ein Computer Vision-Algorithmus identifiziert die Bewegungen. Gerade Facebook konnte mit optischem KI-Tracking bei Oculus Quest in den letzten Jahren enorme Fortschritte erzielen.
Neurales Fingertracking bei SteamVR
Ein Entwickler zeigt jetzt bei Reddit einen weiteren möglichen Ansatz für Fingertracking bei SteamVR: Per EMG-Gerät misst er am Unterarm die elektrischen Impulse, die bei Bewegungen der Fingermuskulatur entstehen. Im folgenden Video seht ihr sein Ergebnis.
Das prototypische EMG-Fingertracking bei SteamVR ist schon recht präzise, zeigt aber noch eine deutliche Verzögerung. | Video: PerlinWarp, Reddit
Theoretisch können diese elektrischen Signale ohne ausschweifende oder womöglich gänzlich ohne Fingerbewegungen im Unterarm erkannt werden, wenn KI-Technik besser darin wird, die feinen Muster zu identifizieren und in passende digitale Fingerbewegungen oder Befehle zu übersetzen. Das macht die EMG-Technik interessant für Menschen mit Behinderung.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Auch Facebook setzt auf ein EMG-Armband für XR-Brillen
Der größte Vorteil der EMG-Fingertrackingtechnik ist, dass sie immer funktioniert, sogar dann, wenn die Hand in der Tasche steckt. Sind die Fingerbewegungen, die bei EMG benötigt werden, um Aktionen auf dem Bildschirm auszulösen, subtil genug, eignet sich die Fingertrackingtechnik daher als diskrete Eingabemethode für Alltags-AR-Brillen.
Bei optischem Fingertracking hingegen muss die Hand stets im Sichtfeld der Kamera bleiben, was die Technik für den Alltag weitgehend disqualifiziert. Dafür muss für EMG-Fingertracking zwingend ein Sensor getragen werden, optisches Fingertracking funktioniert ohne Zubehör.
Auf die Alltagstauglichkeit von EMG-Tracking setzt unter anderem Facebook bei seiner Forschung zu einem Armband, das mit EMG-Technik und Künstlicher Intelligenz elektrische Muskelsignale am Handgelenk abgreift und als Computerbefehle interpretiert. Auch die ETH Zürich zeigte kürzlich ein EMG-Armband für Hand- und Fingertracking.
Der Reddit-Entwickler PerlinWarp stellt sein prototypisches SteamVR-EMG-Handtracking als Open Source bei Github zur Verfügung. Eine Spieledemo bietet er mit Neuro-Breakout ebenfalls bei Github an. Bei Fragen könnt ihr euch in seinem Discord-Kanal an ihn wenden.
Für einen Test benötigt ihr einen EMG-Sensor am Unterarm. PerlinWrap benutzt ein älteres Myo-Armband, das mittlerweile nicht mehr hergestellt wird.
Weiterlesen über Tracking-Technologie:
- VR-Trackingsysteme: Welches trackt am genauesten?
- Tensorflow: Neues 3D-Bodytracking läuft im Browser - probiert es selbst
- Quest Pro: Neuer Hinweis auf Eye- und Facetracking
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
