Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser und lade die Seite neu.
Hand- und Fingertracking sind in der XR-Zukunft als Standard-Interface fix eingeplant. Ein Entwickler zeigt jetzt bei SteamVR, wie Fingertracking mit einem Myo-Armband funktionieren könnte.
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen. Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.
Hinzu kommen Hersteller von speziellen Modulen wie Ultraleap, die teils mit VR- und AR-Brillenherstellern für Zubehör kooperieren. AR-Brillenhersteller wie Microsoft oder Nreal bieten Hand- und Fingertracking ebenfalls als XR-Eingabemethode an.
___STEADY_PAYWALL___
Viele Handtracking-Ansätze verfolgen einen optischen Ansatz in Kombination mit KI: Kameras filmen Hand und Finger, ein Computer Vision-Algorithmus identifiziert die Bewegungen. Gerade Facebook konnte mit optischem KI-Tracking bei Oculus Quest in den letzten Jahren enorme Fortschritte erzielen.
Neurales Fingertracking bei SteamVR
Ein Entwickler zeigt jetzt bei Reddit einen weiteren möglichen Ansatz für Fingertracking bei SteamVR: Per EMG-Gerät misst er am Unterarm die elektrischen Impulse, die bei Bewegungen der Fingermuskulatur entstehen. Im folgenden Video seht ihr sein Ergebnis.
Das prototypische EMG-Fingertracking bei SteamVR ist schon recht präzise, zeigt aber noch eine deutliche Verzögerung. | Video: PerlinWarp, Reddit
Theoretisch können diese elektrischen Signale ohne ausschweifende oder womöglich gänzlich ohne Fingerbewegungen im Unterarm erkannt werden, wenn KI-Technik besser darin wird, die feinen Muster zu identifizieren und in passende digitale Fingerbewegungen oder Befehle zu übersetzen. Das macht die EMG-Technik interessant für Menschen mit Behinderung.
Auch Facebook setzt auf ein EMG-Armband für XR-Brillen
Der größte Vorteil der EMG-Fingertrackingtechnik ist, dass sie immer funktioniert, sogar dann, wenn die Hand in der Tasche steckt. Sind die Fingerbewegungen, die bei EMG benötigt werden, um Aktionen auf dem Bildschirm auszulösen, subtil genug, eignet sich die Fingertrackingtechnik daher als diskrete Eingabemethode für Alltags-AR-Brillen.
Bei optischem Fingertracking hingegen muss die Hand stets im Sichtfeld der Kamera bleiben, was die Technik für den Alltag weitgehend disqualifiziert. Dafür muss für EMG-Fingertracking zwingend ein Sensor getragen werden, optisches Fingertracking funktioniert ohne Zubehör.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.