VR-Ganzkörpertracking: Facebook forscht an neuer Lösung

VR-Ganzkörpertracking: Facebook forscht an neuer Lösung

Unkompliziertes Full-Body-Tracking für Endverbraucher: Das ist eines der schwierigsten VR-Probleme, die  es noch zu knacken gilt. Facebook versucht es mit elektromagnetischen Sensoren.

In VR-Brillen verbaute Kameras sind keine optimale Lösung für Ganzkörpertracking, da der Körper häufig sich selbst verdeckt oder gar nicht erst sichtbar ist. Externe Kameras wiederum haben das Problem eingeschränkter Mobilität: Gerät man aus dem Sichtfeld der Kamera, wird nicht mehr getrackt.

Ein Team aus Forschern der Facebook Reality Labs und der ETH Zürich versucht es deshalb mit elektromagnetischen Sensoren, da bei diesen kein Sichtkontakt notwendig ist.

Ganzkörpertracking: Je weniger Sensoren, desto besser

Diese Art des Trackings setzt eine Basisstation voraus, die ein elektromagnetisches Referenzfeld erzeugt sowie eine Reihe von EM-Sensoren, deren Entfernung von der Basisstation und Orientierung präzise gemessen werden kann. Das Team entwickelte für die Forschungsarbeit ein eigenes Trackingsystem mit besonders leichten und kompakten EM-Sensoren.

Getestet wurde einmal mit sechs, einmal mit zwölf Sensoren. Je weniger Sensoren benötigt werden, desto einfacher ist die Nutzung, allerdings nimmt dann auch die Genauigkeit des Ganzkörpertrackings ab.

Das Prinzip des elektromagnetischen Trackingsystems. Im rechten Bild ist das Setup mit zwölf Sensoren zu sehen. Die Basisstation kommt am unteren Teil des Rückens zu liegen. | Bild: Facebook Reality Labs / ETH Zürich

Die Entwicklung eines eigenen EM-Trackingsystem sei eine Herausforderung, die Herleitung der Posen aus den Messdaten eine andere, schreiben die Forscher. Nutzt man lediglich sechs Sensoren, so muss das KI-Modell Messdatenlücken schließen. Die räumliche Position der Unterarme beispielsweise wird dann nicht mehr gemessen.

Geringe Abweichung mit sechs Sensoren

Hierfür entwickelte das Team einen zweiteiligen Lösungsansatz: zuerst wird auf Basis von Trainingsdaten die Pose hergeleitet, danach wird die Genauigkeit optimiert.

Mit den Resultaten sind die Forscher zufrieden: Mit zwölf Sensoren weicht die Genauigkeit der Sensoren um maximal 31,8 Millimeter und 13,3 Grad ab, mit sechs Sensoren nur geringfügig mehr um 35,4 Millimeter und 14,9 Grad.

Das folgende Video zeigt das elektromagnetische Ganzkörpertracking in Aktion. Im rechten Bildausschnitt wurde der Avatar samt hergeleiteten Posen direkt über das Testsubjekt gelegt, sodass man die echte Position und Bewegung mit der rekonstruierten vergleichen kann.

Weiterlesen über Ganzkörpertracking:

Quelle: AIT-ETHZ @ Medium, via: Augmented reality / Mixed reality / Assisted reality Reddit