Oculus Insight: Facebook gibt Einblick in Entwicklung des Trackingsystems
Oculus Quest ist die erste VR-Brille, die präzises Kopf- und Handtracking bietet und flüssig auf einem mobilen Prozessor läuft. In einem Online-Artikel erklären Facebook-Forscher, wie die Präzision und Energieeffizienz des zugrundeliegenden Trackingsystem erreicht wurde.
Oculus Insight nennt Facebook die Trackingtechnologie, die in Oculus Quest und Oculus Rift S arbeitet. Sie erfasst mittels integrierter Sensoren die räumliche Position der VR-Brille und VR-Controller, bestimmt die Fußbodenhöhe und erstellt eine rudimentäre 3D-Karte der Umgebung. Das folgende Video zeigt schematisch, wie das funktioniert:
___STEADY_PAYWALL___
Drei Arten von Sensoren kommen hierbei zum Einsatz: sogenannte IMUs, das sind Trackingeinheiten, die in der VR-Brille und den Controllern verbaut sind und Beschleunigungen sowie Drehungen erfassen, mehrere Weitwinkel-Kameras im Gehäuse der VR-Brille, die charakteristische Merkmale und Muster der Umgebung registrieren und daraus die räumliche Position ermitteln und Infrarot-LEDs, die in den Trackingringen der VR-Controller untergebracht sind und von den Kameras erfasst werden. Sie helfen dabei, die räumliche Position der Eingabegeräte relativ zur VR-Brille zu bestimmen.
Kostspielige Lidar-Systeme oder 3D-Sensoren, die die Tiefe des Raums mittels Lichtstrahlen messen, werden nicht benötigt. Das war ein Ziel Facebooks: Die Herstellungskosten möglichst tief zu halten.
KI-Technologie half bei der Optimierung
Doch die Gesamtheit dieser Sensordaten allein genügten nicht, um die gewünschte Trackingpräzision zu erreichen, weshalb die Facebook-Forscher auf KI-Technologie zurückgriffen.
In einem ersten Schritt maßen die Forscher die Bewegungen von VR-Brille und VR-Controller mit Hilfe des professionellen Trackingsystems Optitrack in verschiedenen Nutzungsszenarien. Hierbei wurden kugelförmige Marker an der VR-Brille und den VR-Controllern angebracht, die anschließend mittels externer Kameras dreidimensional präzise erfasst wurden.
Die Optitrack-Systeme wurden sowohl in den Forschungsräumlichkeiten als auch bei Facebook-Mitarbeitern zu Hause installiert, um möglichst viele verschiedene Umgebungen abzudecken. Beim Testen von VR-Inhalten entstanden so tausende Stunden Videomaterial.
In einem zweiten Schritt kreierten die Facebook-Forscher ein Programm, das Oculus Insight im Einsatz umfassend simulierte. Anschließend wurde ein künstliches neuronales Netz mit dem Videomaterial gefüttert, erfasste Abweichungen zwischen den Optitrack-Messungen und der Simulation und optimierte den Algorithmus hinter Oculus Insight entlang der Optitrack-Messungen, bis sich die beiden Messungen anglichen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Ein Wohnzimmer-Testraum mit installiertem Optitrack-System. BILD:
Das Trackingsystem wurde so für reale Anwendungsszenarien optimiert und kann gewisse Bewegungen sogar voraussehen und damit die Latenz verringern.
Oculus Insight kommt in Facebooks AR-Brille
Damit die Rechenleistung des mobilen Prozessors nicht vollständig für das 3D-Tracking aufgebraucht wird, wurden die Berechnungen auf mehrere Nebenkerne verteilt, sodass neben dem Betriebssystem und dem 3D-Tracking noch reichlich Leistung für Apps und Spiele blieb.
Laut Facebook-Technikchef Mike Schroepfer wusste man am Anfang nicht, ob das überhaupt möglich ist. "Du hast einen mobilen Prozessor in diesem Ding. Und der Großteil der Rechenleistung geht für Inhalte drauf", erklärt Schroepfer gegenüber Techcrunch und spielt auf den Umstand an, dass integriertes 3D-Raumtracking vor wenigen Jahren noch vornehmlich in Robotern zum Einsatz kam, die sich im Raum orientieren müssen. "Der Robotor spielt nicht zugleich Beat Saber, während er durch das Warenhaus navigiert."
Facebook sieht in Oculus Insight einen Trackingstandard, der "die Zukunft ganztägig tragbarer, raumerfassender AR-Brillen darstellt". Dieser Formfaktor werde der Hardware und Software noch stärkere Beschränkungen auferlegen, sodass man den Energieverbrauch auf zwei Prozent des Werts reduzieren werden müsse, den eine XR-Brille für Raumtracking braucht. Dazu werde es weiterer Innovationen bei Hardware und KI brauchen.
Titelbild: Facebook, Quellen: Facebook AI Blog, Tech@FB, Techcrunch
Weiterlesen über Oculus Insight:
- Oculus Rift S: So richtet man das neue Guardian-System ein
- Oculus Rift S und Quest: Oculus verbessert Controller-Tracking
- Oculus Quest: Beat Saber war Carmacks Tracking-Benchmark
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
