Facebook zeigt VR-Brille mit Durchblick
Wie stellt man Augenkontakt mit einer Person her, die eine VR-Brille trägt? Facebook-Forscher zeigen einen Prototyp, der eine Antwort auf diese Frage gibt.
VR-Brillen sollten im Idealfall den Blick in die reale Umgebung und gleichermaßen den Blick von außen in die VR-Brille ermöglichen. Letzterer dient vor allem der Kommunikation: Mit einer Person zu sprechen, ohne deren Gesicht zu sehen oder Augenkontakt herstellen zu können, ist unpraktisch und befremdlich.
Die erste Art Durchblick gibt es schon in Form sogenannter Passthrough-Technik: Die nach außen gerichteten Kameras einer VR-Brille filmen die Umgebung und leiten das Bild an die Bildschirme im Gehäuse weiter. Dies ermöglicht eine Videodurchsicht auf die Umgebung. Der umgekehrte Weg, den Facebook "Reverse Passthrough" nennt und der einen Bildschirm auf der Außenseite des Gehäuses voraussetzt, wurde noch nicht kommerziell umgesetzt.
___STEADY_PAYWALL___Auf der diesjährigen Computergrafik-Konferenz Siggraph (9. bis 13. August) möchten Forscher der Facebook Reality Labs einen entsprechenden Prototyp vorstellen. In einem Blogpost erklärt Facebook, wie die Technik funktioniert.
So sieht der aktuelle Prototyp aus
Das Forschungsprojekt geht auf den Facebook-Forscher Nathan Matsuda zurück. 2019 entwarf Matsuda einen ersten Prototyp, der auf einer modifizierten Oculus Rift S basierte und ein 3D-Display nutzte.
In der Zwischenzeit hat der Prototyp Fortschritte gemacht und nutzt eigens entwickelte Optik, Elektronik und Software, um das Gesicht und die Augen des Brillenträgers realistischer abzubilden.
Von einem fertigen Stück Technologie, das in einer autarken VR-Brille wie der Oculus Quest Platz fände, ist Matsudas Erfindung allerdings weit entfernt: Derzeit ist der Prototyp noch kabelgebunden und gibt die Augenpartie nur annähernd real wieder.
Der aktuelle Prototyp ist ein technisches Konzept, das in erster Linie als Machbarkeitsnachweis dient – oder Sci-Fi-Requisit in einem Terry-Gilliam-Film.| Bild: FRL Research
Wie die Display-Technik funktioniert
Der Prototyp besteht aus zwei symmetrischen optischen Modulen, eines für jedes Auge. Ein Ring aus Infrarot-LEDs leuchtet die Augenpartie aus, die hinter der Linse von einem für das Auge unsichtbaren Infrarot-Spiegel reflektiert wird.
Zwei seitlich installierte stereoskopische Infrarot-Kameras zeichnen dieses Bild auf und leiten es an ein nach außen gerichtetes LC-Display weiter. Ein spezielles Mirkolinsengitter fächert das Bild in mehrere stereoskopische Perspektiven auf. Zum einen entsteht so ein Tiefeneindruck, zum anderen werden die Display-Augen so aus verschiedenen Betrachtungswinkeln korrekt wiedergegeben. Die folgende Grafik zeigt den Aufbau.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Der Aufbau des Display-Prototyps im Querschnitt. | Bild: FRL Research
Mit einem 2D-Display wäre das nicht möglich: Die Augen sähen äußerst merkwürdig aus, da sie sich vom Gesicht abheben und nur aus einer Perspektive wiedergegeben werden, was den Augenkontakt erschwert oder verhindert. Das folgende Vergleichsvideo demonstriert diesen Umstand. Ein Nachteil des 3D-Displays ist, dass es derzeit nur eine begrenzte Zahl Betrachtungsblickwinkel abdeckt.
"Reverse Passthrough": Noch besser mit digitalen Avataren
Facebook schreibt, dass die Darstellung der Augen von der separat entwickelten Codec-Avatar-Technik profitieren könnte. Bei dieser Telepräsenz-Technologie werden mithilfe von in die VR-Brille integrierter Kameras Teile des Gesichts aufgenommen, die von KI-Algorithmen anschließend zu einem fotorealistischen digitalen Abbild des VR-Nutzers samt Mimik zusammengesetzt werden. Dieser automatisierte Prozess soll zu einem besseren visuellen Endergebnis führen.
Das folgende Video deutet dies an. Hierbei wird der digital konstruierte Codec Avatar statt ein gefilmtes Abbild der Augen auf dem 3D-Display dargestellt.
Der Leiter von Facebooks Zukunftslabor Michael Abrash zeigte sich skeptisch, als Matsuda den ersten Prototyp präsentierte, aber ließ den Forscher dennoch weiter an dem Projekt arbeiten. Zwei Jahre später denkt der Chef von FRL Research anders.
"Meine erste Reaktion war, dass es sich um eine alberne Idee handelt", sagt Abrash. "Aber ich schreibe den Forschern nicht vor, was sie tun sollen, denn ohne die Freiheit, neue Dinge auszuprobieren, gibt es keine Innovation. Das ist eine gute Sache, denn jetzt ist aus dem Prototyp eine Idee mit echtem Potenzial entstanden."
Ob und wann die Technologie Eingang in ein Produkt findet, läßt Abrash offen.
Quelle: Tech@FB, Titelbild: Facebook
Weiterlesen über Facebook-Forschung:
- Facebooks AR-Brille wird mit einem Armband gesteuert
- Facebook erforscht Display-Massenfertigung für kleinere, leichtere AR/VR-Systeme
- Supergehör und Audio-Teleporter: Facebook zeigt neueste Forschung
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
