Forscher der Facebook Reality Labs wollen, dass ihr Mixed-Reality-Anwendungen künftig mit dem Gegenstand steuert, den ihr gerade in der Hand haltet.

Kabetec VR-Brille

In der linken Hand haltet ihr ein Buch und in der rechten einen Stift. Wie sollt ihr da noch die AR-Brille auf eurem Kopf bedienen?

Ein Forschungsteam aus Mitgliedern der Facebook Reality Labs und der Universität von British Columbia will euch künftig das Leben erleichtern und Buch und Filzstift via Handtracking zum Eingabegerät machen.

So sollt ihr Alltagsgegenstände als Controller nutzen

Mit dem “Gripmarks”-System soll künftig aus einem Alltagsgegenstand ein Mixed-Reality-Eingabegerät werden. So spart ihr euch den Controller und nutzt stattdessen den Gegenstand, den ihr gerade in der Hand haltet.

Auf einer virtuellen Cola-Dose erscheint das Tastenfeld eines Taschenrechners

Mit Gripmarks könnt ihr eure Cola-Dose als Taschenrechner nutzen. BILD: Facebook Reality Labs

Funktionieren soll das folgendermaßen: Ihr nehmt eine Cola-Dose in die Hand. Eine AR-Brille oder VR-Brille (Vergleich) trackt die Haltung eurer Hand und eine Software gleicht die Griff-Punkte eurer Finger mit gespeicherten Griffmustern ab. Erkennt sie die Griff-Haltung, berechnet sie das in diesem Fall zylindrische Objekt, ohne dass es direkt erfasst und verfolgt werden muss.

Mit der anderen Hand führt ihr eine Aktivierungs-Geste auf dem Objekt aus, ähnlich der Gestensteuerung auf eurem Smartphone. Damit bestimmt ihr Ort und Größe des virtuellen Eingabefeldes, das auf dem Objekt erscheinen soll.

Nun habt ihr das Bedienfeld eines Media-Players oder die Tasten eines Taschenrechners direkt auf dem Gegenstand. Ihr haltet also tatsächlich eine Dose in der Hand, auf der ihr tippt und haptischen Widerstand spürt, während ihr zusätzlich virtuell oder in VR eine zylindrische Fernbedienung mit Eingabefeld seht.

Verschiedene Eingabemethoden sollen durch Gripmarks möglich werden

Neben einer zweihändigen Steuerung soll auch die Eingabe mit nur einer Hand möglich werden. Als Beispiele führt das Forschungsteam in seinem Bericht eine Sprühflasche und einen Filzstift an. Haltet ihr den Stift in der Hand, wischt ihr darauf mit dem Daumen nach links und rechts oder tippt, um eine Eingabe zu bestätigen.

Verschiedene Griffformen an Alltagsgegenständen

Mit dem “Pistolen-Griff” und dem “Clicker-Griff” könnt ihr Sprüh-Container oder Stifte zur Eingabe nutzen. BILD: Facebook Reality Labs

Mit der Sprühflasche zielt ihr beispielsweise auf einen virtuellen Button und drückt den Sprüh-Hebel, um ihn zu aktivieren. Das System erkennt bisher fünf Griffmuster: Das Greifen eines Buches oder einer Geldbörse, eines zylindrischen Gegenstands, einer Pistolen-Form, wie etwa bei der Sprühflasche und einen Klicker-Griff mit dem Filzstift. Dazu kommt noch ein Kugel-Griff wie bei einem Apfel.

Gripmarks funktioniert bisher nur mit Motion-Capturing

Das Team demonstriert das neue Controller-Prinzip mit einer VR-Anwendung und einer Oculus Rift S (Test) sowie mit einem aufwendigen auf Motion-Capturing basierendem Handtracking-System. Wer also darauf hofft, bald mit einer Spielzeugpistole als VR-Controller in Arizona Sunshine (Test) herumzuballern, muss sich noch etwas gedulden.

Ein teures Optitrack-Trackingsystem erfasst noch Hände und Alltagsgegenstände. Bild: Facebook

Ein teures Optitrack-Trackingsystem erfasst noch Hände und Alltagsgegenstände. Bild: Facebook

Das Forschungsteam will sein System allerdings praktikabler machen. Im nächsten Entwicklungsschritt soll Gripmarks nur noch mit Sensor-Handschuhen und optischem Inside-Out-Tracking funktionieren.

Weiterlesen über Handtracking:

steady2

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Intels VR-Linsen, Apples Tech-Brille und KI-Demokratie | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.