PSVR 2: Sony-Forscher zeigen Fingertracking-Controller
Sony-Forscher experimentieren mit KI-Technik für präziseres Fingertracking. Die Technologie könnte zum Beispiel für einen neuen Playstation-VR-Controller verwendet werden.
Interface-Forscher von Sony Interactive, Sonys Playstation-Abteilung, geben Einblick in ein aktuelles Controller-Experiment, das wie gemacht wäre für Playstation VR 2: Es geht um einen Stabcontroller mit Fingertracking. Der VR-Brillenträger hält einen mit kapazitiven Sensoren ausgestatteten Stab in der Hand. Die Sensoren erfassen, wenn der Nutzer einzelne Finger langsam vom Stab wegstreckt und wieder auflegt.
So könnte der Nutzer mit den eigenen Händen mit virtuellen Objekten interagieren, statt nur eine Hand mit dem Controller fernzusteuern, wie es bei den aktuellen Move-Controllern der Fall ist. Sonys Controller-Prototyp verzichtet noch auf zusätzliche Eingabefunktionen wie Knöpfe und Joysticks. Das dürfte sich für eine mögliche kommerzielle Version aber ändern.
___STEADY_PAYWALL___Sonys KI-gestütztes Fingertracking soll präziser sein als Valves Index-Controller
"Moment, das kenne ich doch", wird sich der interessierte VR-Marktbeobachter denken und hat natürlich Recht: Auch die Valve Index (Test) setzt auf kapazitive Sensoren für das Fingertracking. Was Sonys Forscher anders machen als Valve: Sie zeichneten zunächst elf spezifische Handbewegungen von zwölf verschiedenen Händen in unterschiedlichen Größen auf. Dafür nutzten sie sowohl Kameras als auch gleichzeitig die 62 kapazitiven Sensoren im Controller-Prototyp.
Anschließend verknüpften sie die visuellen Informationen der Videos und die Sensordaten. Mit diesem Datensatz trainierten sie dann ein neuronales Netz, dem beim Controller-Prototyp die Fingererfassung ausschließlich per kapazitiven Sensoren gelingt. Auf Basis der Sensordaten kann die KI in Kombination mit dem vorherigen Videotraining Rückschlüsse auf die korrekte Handposition ziehen. Trackingkameras werden nicht mehr benötigt.
Das Setup der Sony-Forscher für die Erhebung der KI-Trainingsdaten. Für das optische Tracking wurde ein Optitrack-System eingesetzt. Dem Controller-Prototyp reichen anschließend die kapazitiven Sensoren für eine präzise Fingererfassung. Bild: Sony
Mit diesem Vorgehen wollten die Sony-Forscher speziell die Präzision von kurvig angebrachten kapazitiven Sensoren verbessern. Offenbar mit Erfolg: In einem Nutzertest ließen sie ihren Prototyp gegen die VR-Controller von Valve Index antreten. Anschließend befragten sie die Nutzer zur gefühlten Handpräsenz und erzielten "signifikant bessere Ergebnisse" speziell beim Daumen.
Das KI-gestützte Tracking soll so stabil sein, dass selbst schwitzige Hände die Controller nicht durcheinanderbringen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Mit diesen Fingerbewegungen wurde das KI-Training vorbereitet. Bild: Sony
Die Forschungsarbeit mit dem Titel "Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor" wurde im April auf der wissenschaftlichen Veranstaltung "Conference on Human Factors in Computing" vorgestellt.
Wie und wann geht's bei Sony weiter mit VR?
Besonders interessant ist die Sony-Demo im Kontext des kürzlich vorgestellten Playstation-5-Controllers. Der wird nämlich, anders als der PS4-Controller, das Trackingsystem der aktuellen Sony-VR-Brille nicht mehr unterstützen.
Sollte Sony also eine neue VR-Brille (Vergleich) auf den Markt bringen, werden ziemlich sicher auch neue Controller im Paket liegen, die für VR optimiert sind - zum Beispiel mit Fingertracking. Schon im Sommer 2018 meldete Sony ein zum Controller-Prototyp passendes Patent an.
Alle weiteren Informationen und Gerüchte zu Sonys Next-Gen-Brille findet ihr in unserem Infoguide zur Playstation VR 2.
Weiterlesen über Playstation VR:
- Playstation VR: Sony hat 5 Millionen VR-Brillen verkauft
- Playstation VR: Das sind die beliebtesten VR-Spiele 2019
- Entwicklerumfrage: Oculus Quest geht steil, Playstation VR verliert
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
