VR vs. Weihnachtsdeko: Wie Oculus euch schöne Weihnachten beschert

VR vs. Weihnachtsdeko: Wie Oculus euch schöne Weihnachten beschert

Zu Weihnachten dürfte auch die eine oder andere Oculus Quest oder Oculus Rift S unter dem Weihnachtsbaum liegen. Um das Inside-Out-Trackingsystem der VR-Brillen immun gegen Weihnachtsbeleuchtung zu machen, griff Oculus in die KI-Trickkiste.

Die Touch-Controller der Oculus Quest und Oculus Rift S haben fürs Tracking Infrarot-LEDs verbaut. Die in die VR-Brillen integrierten Kameras registrieren die Muster dieser Lichter, während das Oculus Insight genannte Trackingsystem daraus die räumliche Position der Controller errechnet.

Wenn beim Spielen im Hintergrund die Lichter der Weihnachtsdeko glitzern, kann das Trackingsystem aus dem Tritt geraten. Der Grund: Die Software kann mitunter nicht mehr zwischen den LEDs der Touch-Controller und der Weihnachtsbeleuchtung unterscheiden.

___STEADY_PAYWALL___
Oculus Insight Tracking Weihnachten 2

Die grünen Punkte sollen analysiert werden, die rosa Punkte nicht. Die korrekte Unterscheidung ist essenziell fürs Weihnachtstracking. BILD: Facebook

Mehr leuchtende Trackingsignale resultieren in einem aufwendigeren Rechenprozess, da Oculus Insight mehr Punkte segmentieren und zur Übereinstimmung bringen muss. Das kann zu einem Leistungseinbruch führen oder zu Trackingfehlern, wenn Lichter falsch interpretiert werden. Das Resultat ist das gleiche: Der Spielspaß geht flöten.

KI hilft beim Segmentieren

Um dieses Problem in den Griff zu bekommen, entwickelte Oculus zwei Lösungen. Zuerst wurde ein Algorithmus programmiert, der stationäre Lichter identifiziert, sodass sie bei der Segmentierung automatisch weggelassen werden.

Oculus Insight generiert hierfür nach und nach ein vereinfachtes 3D-Modell unbeweglicher Lichtansammlungen, zum Beispiel eines mit Lichtern oder Kerzen behangenen Weihnachtsbaums, und merkt sich dessen Position im Raum. So weiß das Trackingsystem, welche Lichtquellen es ignorieren kann.

Um unbrauchbare Lichter noch vor diesem Prozess zu identifizieren und damit noch mehr Rechenleistung zu sparen, testeten Oculus-Forscher, bei welcher Lichtkonstellation es besonders häufig zu Abgleichfehlern kommt.

Das Resultat: Das Trackingsystem wird häufig von Lichtern irritiert, die im Verhältnis zur Controller-Position zu klein oder zu groß sind.

Daraufhin trainierte Oculus ein künstliches neuronales Netz, das diese Lichter zu identifizieren lernte und die Segmentierung so weiter unterstützte. Dadurch gelang es, Trackingfehler zu reduzieren und inkorrekten Abgleich trotz zusätzlicher Lichtquellen im Raum beinahe zu eliminieren.

Eine detailliertere Beschreibung dieser Lösungen sowie weitere Links zur Funktionsweise von Oculus Insight findet man im Entwickler-Blog von Oculus.

Weiterlesen über Oculus Insight: