Startup zeigt präzises Fingertracking und macht die Hand zum Controller

Startup zeigt präzises Fingertracking und macht die Hand zum Controller

Die eigenen Hände sind in Virtual Reality das natürlichste Interface, 3D-Controller ein praktisches Werkzeug. Das US-Startup Perceptive IO kombiniert das Beste aus beiden Welten und macht aus der Hand einen Controller.

Grundlage für das neue Interface ist ein sehr schnelles, präzises und robustes Verfahren für die Hand- und Fingererkennung. Die Entwickler geben an, dass das komplette System mit bis zu 1000 Bildern pro Sekunde laufen kann bei einer sehr geringen Latenz. Das Tracking der Hände und Finger übernimmt eine Tiefenkamera.

Laut den Entwicklern - und so wird es im Video unter dem Artikel demonstriert - werden selbst feinste Fingerbewegungen ohne sichtbare Verzögerung erfasst. Das System erkennt die linke und rechte Hand einzeln und kann sie auch bei komplexen Handstellungen verlässlich auseinanderhalten. Dabei unterstützt ein künstliches neuronales Netz, das zuvor mit 3D-Daten von Händen trainiert wurde, die miteinander und mit Objekten interagieren. Selbst wenn sich die Hände oder Finger gegenseitig berühren und verdecken, soll das Tracking ohne Aussetzer laufen.

___STEADY_PAYWALL___

Der Handcontroller der nächsten Generation ist ... die Hand?

Neben dem schnellen Hand- und Fingertracking arbeitet Perceptive IO an einer zweiten, interessanten Funktion, die sich besonders für Virtual Reality anbietet: Das Trackingsystem kann auf den Händen bis zu 29 Bereiche erfassen, die dann zu einem interaktiven Eingabegerät umfunktioniert werden.

So wird beispielsweise aus der Handfläche ein Touchpad oder aus dem Zeigefinger ein Schieberegler. Der Vorteil dabei ist das haptische Feedback am eigenen Körper, das fehlt, wenn man mit den Fingern einfach nur in die Luft zeichnen würde. Ergänzend können Gesten als Eingabeschema verwendet werden.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 3,50 € / Monat
logo

Bei Perceptive IO arbeiten unter anderem ehemalige Microsoft-Forscher, die hinter der beeindruckenden Videotechnologie Fusion 4D stecken, einem 3D-Videosystem, mit dem Menschen in Echtzeit wie Hologramme gefilmt werden können.

Die 3D-Videos sind eine neue Art, Erinnerungen festzuhalten und könnten zu einem wichtigen Format des Mixed-Reality-Zeitalters werden.

Microsoft: Volumetrische Videos sollen Fotografien ersetzen

https://www.facebook.com/HCI.Research/videos/1491347694236443/

| Featured Image: Perceptive IO