Metas Headset-Prototyp Flamera bekämpft Verzerrungen mit "Insektenaugen"
Wie gelangt das Licht bei Durchsicht-AR perspektivisch korrekt in die Augen? Metas Mixed-Reality-Headset bietet eine neuartige Antwort.
Mixed-Reality-Headsets wie die Quest Pro oder die Apple Vision Pro haben ein Problem. Ihre Außenkameras sitzen einige Zentimeter vor den Augen. Die mit Computergrafik angereicherte Außenwelt wird also nicht aus der korrekten Perspektive eingefangen, so dass Algorithmen die Abweichung mithilfe einer Bildreprojektion korrigieren müssen.
Meta will dieses Problem mit einem Ansatz lösen, der Nutzende wie Insekten aussehen lässt. Die im Headset-Prototypen "Flamera" genutzte Technik der Lichtfeld-Kamera mit vielen kleinen Linsen ist zwar nicht neu, Meta hat sie aber für eigene Zwecke angepasst. Hinter dem Linsenraster platzierten die Forschenden zahlreiche Blenden – hinter jeder Linse eine. Sie lassen immer nur genau jene Lichtstrahlen zu einem Bildsensor durch, die auch ohne Headset im Auge gelandet wären.
Metas Vision für verzerrungsfreie Passthrough-AR
Meta nennt diese Technik "Light Field Passthrough". Auch bei diesem Ansatz wird das Bild also zunächst vom Sensor erfasst und so aufbereitet, dass es auf dem Display und der Linse vor den Augen des Nutzers passend dargestellt wird. Laut Meta ist die Darstellung jedoch perspektivisch korrekter, da die Außenwelt durch das gekrümmte Linsenraster auf der Front des Headsets eingefangen wird.
Oft wird dabei das Licht, das durch zwei angrenzende Linsen fällt, kombiniert. Auch hier helfen die Blenden, jeweils nur die für die Blickrichtung relevanten Strahlen durchzulassen. In einem Trailer ist anschaulich zu sehen, wie sie die übrigen Strahlen ablocken.
Herkömmliche Lichtfeldkameras hingegen fangen laut Meta zu viele Lichtstrahlen ein, was zu einer viel zu geringen Bildauflösung führen würde. Bei der neuen Konstruktion treffen die relevanten Teile des Lichtfeldes genau auf die begrenzten Sensorpixel.
Die rohen Sensordaten sehen aus wie kleine Lichtkreise, die jeweils nur einen Teil der gewünschten Ansicht der Außenwelt enthalten – fast so, als würde man durch ein Nudelsieb blicken. Flamera ordnet die Pixel neu an und errechnet eine mithilfe einer Depth-Map eine Rekonstruktion des kompletten Bildes. Das Ergebnis leidet laut Meta deutlich seltener unter Verzerrungen als auf dem Markt erhältliche Headsets und eröffne so neue Möglichkeiten für Augmented-Reality-Apps.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
"Indem wir unser Headset von Grund auf neu entwickelt haben, anstatt ein bestehendes Design zu modifizieren, haben wir eine Kamera geschaffen, die nicht nur einzigartig aussieht, sondern auch eine bessere Bildqualität und eine geringere Latenz bietet", erklärt die Wissenschaftlerin Grace Kuo. Der Name Flamera steht übrigens für "Flat Camera".
So dünn wie möglich
Auf dem Weg zum aktuellen Prototyp war es gar nicht so nicht einfach, dicke Objekte wie die Elektronik auf dem Kamerasensor aus dem Weg zu räumen. "Das optische Design von Flamera funktioniert am besten, wenn das Headset dünn ist, so dass wir die Durchlichtkameras so nah wie möglich an den Augen des Benutzers platzieren können", sagt Kuo.
Ein weiterer Vorteil des neuen Designs sei der deutlich geringere Rechenaufwand. Beim älteren "Neural Passthrough"-Projekt sei noch eine ganze Workstation nötig gewesen, um Artefakte durch KI-Berechnungen auszugleichen. Beim neuen Flamera-Design hingegen sollen die Kamerahardware und die Reprojektions-Algorithmen von Anfang an effektiver zusammenarbeiten.
Forschungsdirektor für Anzeigesysteme Douglas Lanman gibt zu, dass das Design des Prototyps heute noch ziemlich verrückt aussehe. Es zeige aber schon heute einen Weg auf, wie perspektivisch korrekte Passthrough-AR in der Zukunft funktionieren könnte. Wer sich schon heute einen Eindruck verschaffen möchte, kann die Hardware vom 6. bis 10. August auf der Siggraph-Konferenz begutachten.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
