VR-Ganzkörpertracking: Facebook forscht an neuer Lösung
Unkompliziertes Full-Body-Tracking für Endverbraucher: Das ist eines der schwierigsten VR-Probleme, die es noch zu knacken gilt. Facebook versucht es mit elektromagnetischen Sensoren.
In VR-Brillen verbaute Kameras sind keine optimale Lösung für Ganzkörpertracking, da der Körper häufig sich selbst verdeckt oder gar nicht erst sichtbar ist. Externe Kameras wiederum haben das Problem eingeschränkter Mobilität: Gerät man aus dem Sichtfeld der Kamera, wird nicht mehr getrackt.
Ein Team aus Forschern der Facebook Reality Labs und der ETH Zürich versucht es deshalb mit elektromagnetischen Sensoren, da bei diesen kein Sichtkontakt notwendig ist.
___STEADY_PAYWALL___Ganzkörpertracking: Je weniger Sensoren, desto besser
Diese Art des Trackings setzt eine Basisstation voraus, die ein elektromagnetisches Referenzfeld erzeugt sowie eine Reihe von EM-Sensoren, deren Entfernung von der Basisstation und Orientierung präzise gemessen werden kann. Das Team entwickelte für die Forschungsarbeit ein eigenes Trackingsystem mit besonders leichten und kompakten EM-Sensoren.
Getestet wurde einmal mit sechs, einmal mit zwölf Sensoren. Je weniger Sensoren benötigt werden, desto einfacher ist die Nutzung, allerdings nimmt dann auch die Genauigkeit des Ganzkörpertrackings ab.
Das Prinzip des elektromagnetischen Trackingsystems. Im rechten Bild ist das Setup mit zwölf Sensoren zu sehen. Die Basisstation kommt am unteren Teil des Rückens zu liegen. | Bild: Facebook Reality Labs / ETH Zürich
Die Entwicklung eines eigenen EM-Trackingsystem sei eine Herausforderung, die Herleitung der Posen aus den Messdaten eine andere, schreiben die Forscher. Nutzt man lediglich sechs Sensoren, so muss das KI-Modell Messdatenlücken schließen. Die räumliche Position der Unterarme beispielsweise wird dann nicht mehr gemessen.
Geringe Abweichung mit sechs Sensoren
Hierfür entwickelte das Team einen zweiteiligen Lösungsansatz: zuerst wird auf Basis von Trainingsdaten die Pose hergeleitet, danach wird die Genauigkeit optimiert.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Mit den Resultaten sind die Forscher zufrieden: Mit zwölf Sensoren weicht die Genauigkeit der Sensoren um maximal 31,8 Millimeter und 13,3 Grad ab, mit sechs Sensoren nur geringfügig mehr um 35,4 Millimeter und 14,9 Grad.
Das folgende Video zeigt das elektromagnetische Ganzkörpertracking in Aktion. Im rechten Bildausschnitt wurde der Avatar samt hergeleiteten Posen direkt über das Testsubjekt gelegt, sodass man die echte Position und Bewegung mit der rekonstruierten vergleichen kann.
Weiterlesen über Ganzkörpertracking:
- Antilatency: Ganzkörpertracking mit Oculus Quest
- Exoskelett mit Gefühl: HaptX entwickelt Ganzkörper-Haptikanzug
- Manus Polygon: System für Ganzkörpertracking angekündigt
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
