Apple Vision Pro: So funktioniert das außergewöhnlichste Feature
Eyesight ist das herausragendste Feature der Apple Vision Pro. Es schafft eine künstliche Transparenz auf der Oberfläche des Headsets, die Augenkontakt erlaubt. Wie funktioniert das?
Wer Vision Pro zum ersten Mal sieht und sich mit VR-Technologie nicht auskennt, könnte denken, dass die Vorderseite aus einem transparenten Stück Glas besteht. In Wirklichkeit sind die Augen der Person, so wie bei jedem anderen VR-Headset, hinter einer dicken Schicht Technik verborgen, die Displays, Linsen, Sensoren und Chips enthält.
In einem Podiumsgespräch, das im Rahmen der WWDC 2023 stattfand, ging der leitende Entwickler der Vision Pro Mike Rockwell auf die Technik hinter Eyesight ein.
Die Idee geht laut Alex Heath auf Apples ehemaligen Chefdesigner Jony Ive zurück. Ganz neu ist sie nicht: Meta zeigte 2021 Prototypen mit Fake-Durchblick, implementierte die Technik jedoch nicht in Produkte.
So funktioniert Eyesight
Das Geheimnis hinter Eyesight ist ein Front-Display, das in Echtzeit die Augen der Headset-Nutzer:innen rendert. Doch nicht irgendein beliebiges Display.
Das Eyesight-Display ist gebogen und nutzt das Linsenrasterprinzip (auch Lentikularprinzip genannt). Das heißt, es stellt abhängig vom Blickwinkel ein jeweils leicht verschobenes Bild der Augen dar. Ein herkömmliches 2D-Display würde die Augen unnatürlich wirken lassen, insbesondere dann, wenn man eine Person seitlich ansieht.
Den Unterschied kann man gut anhand des folgenden Forschungsbeispiels, das von Meta stammt. In der Mitte kommt ein herkömmliches 2D-Display zum Einsatz, auf der rechten Seite ein lentikulares 3D-Display nach dem Linsenrasterprinzip.
"Wir mussten eine separate Ansicht für jede Person schaffen, der dich aus einem beliebigen Winkel betrachtet. Also haben wir ein Linsenraster-Display entwickelt, das erste gebogene Linsenraster-Display, das jemals hergestellt wurde. Und wir rendern tatsächlich für jede Person, die dich ansieht, eine eigene Ansicht deiner Augen", erklärt Mick Rockwell.
Und woher kommen die Daten für diese Ansichten? Aus Rockwells Äußerungen kann man auf zwei Datenquellen schließen: Da wären zum einen die Aufnahmen der Eye-Tracking-Kameras, vier an der Zahl, im Inneren des Headsets. Zum anderen nutzt Apple die Persona, also den digitalen Avatar, der vorab mithilfe eines 3D-Gesichtsscans der tragenden Person generiert wird.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Aus diesen Datenquellen entsteht mit minimaler Latenz ein digitales Abbild der Augenpartie, das anschließend in die verschiedenen Blickwinkel aufgefächert und gerendert wird.
Die soziale Isolation durchbrechen
Wegen der technischen Komplexität dieses Features (und der unheimlichen Effekte, die ein Fehlverhalten der Technik zur Folge haben könnte) konnte die Presse bei ersten Hands-ons mit Apple Vision Pro Eyesight noch nicht selbst ausprobieren. Wahrscheinlich arbeitet Apple noch immer am Feinschliff.
Dennoch werde Eyesight eine Reihe von Einschränkungen haben, munkeln Experten und erwarten technologiebedingt ein eingetrübtes und eher niedrig aufgelöstes Bild der Augenpartie.
Apple ist gleichwohl überzeugt, dass sich der enorme technische Aufwand lohnt. Weshalb? Weil Apple die Isolation von VR-Headsets nach beiden Seiten hin durchbrechen will. Die Headset-Nutzer:innen sollen die Umgebung sehen und die Umgebung soll die Headset-Nutzer:innen sehen.
"Man kann mit jedem, der ins Zimmer kommt, auf natürliche Weise interagieren, und das ist wirklich verblüffend. Wenn die Leute das sehen, werden sie das Gerät als transparent empfinden. Es sieht so aus, als ob es transparent ist, und sorgt dafür, dass man sich nicht von den Menschen getrennt fühlt. Das war ein grundlegender Wert dessen, was wir zu tun versuchten", sagt Rockwell.
Zu Eyesight gehört auch die Funktion einer automatischen Ein- und Ausblendung der Augenpartie, je nachdem, ob man in immersive Inhalte vertieft ist oder mit Menschen in der unmittelbaren Umgebung interagiert. Nähert sich jemand, taucht die Person automatisch in der Sicht auf. Das obige Video veranschaulicht beide Szenarien.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
