Gripmarks: Ersetzen Cola-Dose und Filzstift den VR-Controller?
Forscher der Facebook Reality Labs wollen, dass ihr Mixed-Reality-Anwendungen künftig mit dem Gegenstand steuert, den ihr gerade in der Hand haltet.
In der linken Hand haltet ihr ein Buch und in der rechten einen Stift. Wie sollt ihr da noch die AR-Brille auf eurem Kopf bedienen?
Ein Forschungsteam aus Mitgliedern der Facebook Reality Labs und der Universität von British Columbia will euch künftig das Leben erleichtern und Buch und Filzstift via Handtracking zum Eingabegerät machen.
So sollt ihr Alltagsgegenstände als Controller nutzen
Mit dem "Gripmarks"-System soll künftig aus einem Alltagsgegenstand ein Mixed-Reality-Eingabegerät werden. So spart ihr euch den Controller und nutzt stattdessen den Gegenstand, den ihr gerade in der Hand haltet.
Mit Gripmarks könnt ihr eure Cola-Dose als Taschenrechner nutzen. BILD: Facebook Reality Labs
Funktionieren soll das folgendermaßen: Ihr nehmt eine Cola-Dose in die Hand. Eine AR-Brille oder VR-Brille (Vergleich) trackt die Haltung eurer Hand und eine Software gleicht die Griff-Punkte eurer Finger mit gespeicherten Griffmustern ab. Erkennt sie die Griff-Haltung, berechnet sie das in diesem Fall zylindrische Objekt, ohne dass es direkt erfasst und verfolgt werden muss.
Mit der anderen Hand führt ihr eine Aktivierungs-Geste auf dem Objekt aus, ähnlich der Gestensteuerung auf eurem Smartphone. Damit bestimmt ihr Ort und Größe des virtuellen Eingabefeldes, das auf dem Objekt erscheinen soll.
Nun habt ihr das Bedienfeld eines Media-Players oder die Tasten eines Taschenrechners direkt auf dem Gegenstand. Ihr haltet also tatsächlich eine Dose in der Hand, auf der ihr tippt und haptischen Widerstand spürt, während ihr zusätzlich virtuell oder in VR eine zylindrische Fernbedienung mit Eingabefeld seht.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Verschiedene Eingabemethoden sollen durch Gripmarks möglich werden
Neben einer zweihändigen Steuerung soll auch die Eingabe mit nur einer Hand möglich werden. Als Beispiele führt das Forschungsteam in seinem Bericht eine Sprühflasche und einen Filzstift an. Haltet ihr den Stift in der Hand, wischt ihr darauf mit dem Daumen nach links und rechts oder tippt, um eine Eingabe zu bestätigen.
Mit dem "Pistolen-Griff" und dem "Clicker-Griff" könnt ihr Sprüh-Container oder Stifte zur Eingabe nutzen. BILD: Facebook Reality Labs
Mit der Sprühflasche zielt ihr beispielsweise auf einen virtuellen Button und drückt den Sprüh-Hebel, um ihn zu aktivieren. Das System erkennt bisher fünf Griffmuster: Das Greifen eines Buches oder einer Geldbörse, eines zylindrischen Gegenstands, einer Pistolen-Form, wie etwa bei der Sprühflasche und einen Klicker-Griff mit dem Filzstift. Dazu kommt noch ein Kugel-Griff wie bei einem Apfel.
Gripmarks funktioniert bisher nur mit Motion-Capturing
Das Team demonstriert das neue Controller-Prinzip mit einer VR-Anwendung und einer Oculus Rift S (Test) sowie mit einem aufwendigen auf Motion-Capturing basierendem Handtracking-System. Wer also darauf hofft, bald mit einer Spielzeugpistole als VR-Controller in Arizona Sunshine (Test) herumzuballern, muss sich noch etwas gedulden.
Ein teures Optitrack-Trackingsystem erfasst noch Hände und Alltagsgegenstände. Bild: Facebook
Das Forschungsteam will sein System allerdings praktikabler machen. Im nächsten Entwicklungsschritt soll Gripmarks nur noch mit Sensor-Handschuhen und optischem Inside-Out-Tracking funktionieren.
Weiterlesen über Handtracking:
- Mini Beat Saber: Fingersport mit Quest-Handtracking
- Oculus Quest Handtracking: Infos, Updates & Apps
- Oculus Quest: Handtracking bald in ersten Spielen
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
