Meta Quest 2: Forscher zeigen Körpertracking via VR-Controller
Ein Forschungsteam zeigt eine experimentelle Art des Körpertrackings in Virtual Reality. Wie funktioniert das Tracking über die Controller?
Bewegungen von Kopf, Händen und Armen werden in der Virtual Reality über internes oder externes Tracking erfasst. Dazu werden Kameras und Sensoren eingesetzt, die entweder direkt an der VR-Brille angebracht sind (intern) oder ein über externe Stationen erstelltes Infrarot-Laserstrahlennetz für die Verortung nutzen (externes Tracking).
Beide Systeme haben Vor- und Nachteile, eines haben sie jedoch gemein: Sie konzentrieren sich hauptsächlich auf Bewegungen der VR-Brille, den Händen und Fingern. Ganzkörpertracking funktioniert entweder kaum oder ist nur durch kostenaufwendiges Zubehör erreichbar.
___STEADY_PAYWALL___Ein New Yorker Forschungsteam stellt nun einen Lösungsansatz vor, der das Problem über Kameras an den VR-Controllern lösen soll.
VR-Körpertracking über Controller-Kameras
Auf den VR-Controllern sitzen jeweils zwei Fisheye-Kameras mit Weitwinkelobjektiven, eine am Tracking-Ring und eine unten am Griff. Damit soll während der Bewegung möglichst viel vom Körper eingefangen werden.
Die Bilder der insgesamt vier Kameras an den VR-Controllern werden in Echtzeit zusammengesetzt. | Bild: ControllerPose
Die dazugehörige Software fügt die Bilder des linken und rechten Controllers in Echtzeit zusammen. Aus den insgesamt vier Bildern entsteht eine 185-Grad-Ansicht der Nutzer:in. Das System verorte damit Posen auf bis zu 8,59 cm genau.
Zur Verarbeitung haben die Forschenden zwei Varianten ausprobiert. Die Kamerabilder wurden entweder auf einen PC gestreamt, was zwar günstiger wäre, allerdings höhere Latenzen verursache oder über ein Raspberry Pi Compute Module und Google Coral direkt an den Controllern verarbeitet.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Als Beispielanwendungen zeigen die Forschenden selbst programmierte VR-Spiele wie ein an OhShape erinnerndes Bewegungsspiel. Durch bestimmte Posen müssen Arme und Beine durch heranfliegende Formen bewegt werden. Das Team zeigt auch eine Hockey-App, bei dem der Puck mit Armen und Beinen abgewehrt werden kann.
Wie gut funktioniert das Körpertracking über VR-Controller-Kameras?
Gerade für VR-Fitness wäre ein Ganzkörpertracking vorteilhaft, da somit gezielt bestimmte Körperpartien trainiert werden könnten. Der aktuelle Prototyp läuft allerdings nicht rund. Es gebe primär einen großen Nachteil: VR-Controller hätten in einer typischen VR-Anwendung nur etwa 32 Prozent der Zeit über eine wirklich gute „Sicht“ auf den Körper.
Meistens seien sie entweder nahe am Körper oder zu weit davon entfernt. Ein Lösungsansatz könnte ein System mit Trackingkameras an den Controllern und der VR-Brille sein. Beide Bilder kombiniert, könnten dann zuverlässiges Körpertracking ermöglichen.
Bringt Meta Ganzkörpertracking auf die Meta Quest 2?
Auch Meta forschte in der Vergangenheit immer wieder an einer Lösung des Body-Tracking-Problems. In der offiziellen Quest-Entwicklerdokumentation tauchten Anfang des Jahres Hinweise auf Ganzkörpertracking für die Meta Quest 2 auf.
Metas VR-Chef Andrew Bosworth tat die Gerüchte kurz darauf in einer Q&A-Session auf Instagram ab und merkte an, dass die Positionen der Kameras an aktuellen VR-Brillen nicht geeignet seien, um Beine oder Füße ordentlich einzufangen. Allerdings hat wohl Metas kommende VR-Brille Cambria Trackingkameras in den Controllern verbaut.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
