Oculus Quest: Fingeralphabet lernen mit Handtracking

6.06.2020 Tomislav Bezmalinovic

Das optische Hand- und Fingertracking der Oculus Quest ermöglicht neue Anwendungsszenarien wie das Lernen des Fingeralphabets.

Cédric Girardin, ein Student der Berner Fachhochschule, programmierte eine VR-App für Oculus Quest, mit der man das Fingeralphabet dank Handtracking viel leichter lernen kann als von bloßem Auge.

Die Anwendung bietet einen Lern- und einen Prüfmodus. Im Lernmodus wird ein Buchstabe des deutschen Alphabets samt eines 3D-Modells der entsprechenden Hand- und Fingerstellung dargestellt. Dank des Handtrackings der Oculus Quest kann man die dargestellte Figur mit der eigenen Hand in der Virtual Reality nachmachen und die Übereinstimmung maschinell validieren lassen.

Der Prüfmodus funktioniert ähnlich, nur dass kein 3D-Modell angezeigt wird. Der Lernende muss das Fingerzeichen aus dem Gedächtnis abrufen.

Handtracking versagt noch bei bestimmten Gesten

Für die Validierung der Hand- und Fingerstellung werden die Distanzen der Finger, deren Winkel zueinander und die Orientierung der Hand ausgewertet. Die Anwendung kann bis zu 23 Handzeichen des Deutschen Alphabets auswerten.

Die Buchstaben R, J und Z fehlen. Der Grund: Das Handtracking ist bei diesen Zeichen noch überfordert. Beim Buchstaben R muss man die Finger überkreuzen und J und Z erfordern Fingerbewegungen. Außerdem hat das Tracking noch Probleme, Gesten zu erkennen, die von der Kamera wegzeigen.

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Die VR-Trainingsapp ist Girardins Abschlussarbeit und wurde binnen zweier Wochen am Computer Perception & Virtual Reality Lab der Berner Fachhochschule programmiert. Bei Reddit sagt Girardin, dass er die App weiterentwickeln wird, sofern das Labor Bedarf sieht. Potenzial hätte eine solche App auf jeden Fall, vor allem dann, wenn sie weitere gestenbasierte Sprachen in sich aufnehmen könnte.

Mehr über das Handtracking der VR-Brille findet ihr in unserem Infoguide zun Quest-Handtracking und in den weiterführenden Links unten.

Titelbild: Cédric Girardin / Berner Fachhochschule

Weiterlesen über Handtracking:

• Handtracking in VR: Hand Physics Lab veröffentlicht
• Oculus Quest: Wie Künstliche Intelligenz das Handtracking ermöglicht
• SideQuest & Handtracking: Demo-Spiele für Oculus Quest erschienen

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.