VR-Ganzkörpertracking: Facebook forscht an neuer Lösung

7.10.2021 Tomislav Bezmalinovic

Unkompliziertes Full-Body-Tracking für Endverbraucher: Das ist eines der schwierigsten VR-Probleme, die  es noch zu knacken gilt. Facebook versucht es mit elektromagnetischen Sensoren.

In VR-Brillen verbaute Kameras sind keine optimale Lösung für Ganzkörpertracking, da der Körper häufig sich selbst verdeckt oder gar nicht erst sichtbar ist. Externe Kameras wiederum haben das Problem eingeschränkter Mobilität: Gerät man aus dem Sichtfeld der Kamera, wird nicht mehr getrackt.

Ein Team aus Forschern der Facebook Reality Labs und der ETH Zürich versucht es deshalb mit elektromagnetischen Sensoren, da bei diesen kein Sichtkontakt notwendig ist.

Ganzkörpertracking: Je weniger Sensoren, desto besser

Diese Art des Trackings setzt eine Basisstation voraus, die ein elektromagnetisches Referenzfeld erzeugt sowie eine Reihe von EM-Sensoren, deren Entfernung von der Basisstation und Orientierung präzise gemessen werden kann. Das Team entwickelte für die Forschungsarbeit ein eigenes Trackingsystem mit besonders leichten und kompakten EM-Sensoren.

Getestet wurde einmal mit sechs, einmal mit zwölf Sensoren. Je weniger Sensoren benötigt werden, desto einfacher ist die Nutzung, allerdings nimmt dann auch die Genauigkeit des Ganzkörpertrackings ab.

Das Prinzip des elektromagnetischen Trackingsystems. Im rechten Bild ist das Setup mit zwölf Sensoren zu sehen. Die Basisstation kommt am unteren Teil des Rückens zu liegen. | Bild: Facebook Reality Labs / ETH Zürich

Die Entwicklung eines eigenen EM-Trackingsystem sei eine Herausforderung, die Herleitung der Posen aus den Messdaten eine andere, schreiben die Forscher. Nutzt man lediglich sechs Sensoren, so muss das KI-Modell Messdatenlücken schließen. Die räumliche Position der Unterarme beispielsweise wird dann nicht mehr gemessen.

Geringe Abweichung mit sechs Sensoren

Hierfür entwickelte das Team einen zweiteiligen Lösungsansatz: zuerst wird auf Basis von Trainingsdaten die Pose hergeleitet, danach wird die Genauigkeit optimiert.

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Mit den Resultaten sind die Forscher zufrieden: Mit zwölf Sensoren weicht die Genauigkeit der Sensoren um maximal 31,8 Millimeter und 13,3 Grad ab, mit sechs Sensoren nur geringfügig mehr um 35,4 Millimeter und 14,9 Grad.

Das folgende Video zeigt das elektromagnetische Ganzkörpertracking in Aktion. Im rechten Bildausschnitt wurde der Avatar samt hergeleiteten Posen direkt über das Testsubjekt gelegt, sodass man die echte Position und Bewegung mit der rekonstruierten vergleichen kann.

Weiterlesen über Ganzkörpertracking:

• Antilatency: Ganzkörpertracking mit Oculus Quest
• Exoskelett mit Gefühl: HaptX entwickelt Ganzkörper-Haptikanzug
• Manus Polygon: System für Ganzkörpertracking angekündigt

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.