Mixed-Reality-Brillen: Diese Hürden muss die Technik nehmen

Mixed-Reality-Brillen: Diese Hürden muss die Technik nehmen

Mixed-Reality-Brillen (oder XR-Brille / VR-AR-Brille / Video-AR-Brille) sind relativ einfach und günstig herzustellen und leistungsfähiger als AR-Systeme mit transparenter Optik wie Hololens und Magic Leap. Dennoch haben entsprechende Geräte noch eine Reihe technischer Hürden zu nehmen. Welche sind das?

Die kurz- und mittelfristige Zukunft der AR-Brillen sind nach derzeitigem Stand VR-Brillen mit Videodurchsicht. Bei dieser Displaytechnik filmen Kameras im Gehäuse einer VR-Brille die Umgebung und übertragen das Bild mit möglichst geringer Verzögerung auf den Bildschirm innen.

Durch die Videoübertragung der Umgebung entsteht eine digitale Pseudo-Transparenz für AR-Effekte, die große Vorteile gegenüber klassischen AR-Brillen mit transparenter Optik hat. Bei letzteren werden digitale Inhalte selektiv auf die Retina projiziert, während man die Welt durch eine transparente Linse betrachtet.

___STEADY_PAYWALL___

Die wichtigsten Vorteile von Mixed-Reality-Brillen mit Videodurchsicht

Zu den optischen Vorteilen von Videodurchsicht-AR gehören:

  • ein weites Sichtfeld von 90 Grad oder mehr statt Briefmarken-Optik mit Mini-Sichtfeld
  • AR-Elemente erscheinen solide statt geisterhaft durchsichtig
  • selbst bei hellem Tageslicht und im Freien einsetzbar, ohne künstliche Verdunkelung der Sicht
  • Im Unterschied zu transparenten Systemen können dunkle AR-Objekte dargestellt werden.

Wegen dieser signifikanten Vorteile wird Apple für die erste XR-Hardware wohl auf Video-AR setzen (siehe Info-Artikel zu Apples XR-Brille). Facebooks Quest Pro oder nächste Oculus Quest könnten laut Facebook ebenfalls hochwertige Videodurchsicht-AR bieten. Oculus Quest 2 bietet bereits einen experimentellen AR-Modus mit Videodurchsicht.

Mixed-Reality-Brillen: Die Display-Technik existiert schon

Zu den obigen Vorteilen kommt hinzu, dass Video-AR-Brillen leichter und günstiger herzustellen sind, da sie die gleiche Technik wie VR-Brillen nutzen. Diese wiederum ist erschwinglich, weil sie auf etablierte Smartphone-Bauteile setzt. An transparenten AR-Displays wie etwa Wellenleitern wird hingegen noch geforscht und sie sind aufwendiger in der Herstellung.

„Digitale Pass-Through-Systeme (Video-AR, Anm. d. Redaktion) werden weiterhin vom Hardware-Ökosystem des Smartphones profitieren, vor allem bei Displays und Kameras, die sich viel schneller entwickeln als optische See-Through-Technologien (transparente AR-Displays, Anm. d. Redaktion), weil die Forschung- und Entwicklungskosten von Smartphone-Verkäufen getragen werden“, schreibt Lynx-Gründer Stan Larroque in der neuesten Ausgabe des Information Display. Die Fachzeitschrift begleitet seit 1964 die Entwicklung von Display-Technologien.

Lynx: Erste autarke Mixed-Reality-Brille mit Video-AR

In einem Beitrag mit der Überschrift „Digital Pass-Through Head-Mounted Displays for Mixed Reality“ stellt der junge Unternehmer die autarke XR-Brille Lynx vor, die sowohl VR als auch AR beherrscht und für letzteren Darstellungsmodus Videodurchsicht-AR nutzt. Für das Gerät startet in diesem Monat eine Kickstarter-Kampagne.

Im Artikel geht Larroque zuerst auf den Bildschirm und die Kameras der Lynx-Brille ein und stellt die Vorteile der einzigartigen Linse heraus, die in dem XR-Gerät verbaut ist.

Lynx_R1_Transparent_Vorderseite_Rückseite

Die Lynx-Brille ist recht kompakt für eine XR-Brille. | Bild: Lynx

Gegenüber Fresnel-Linsen konnte der Raum zwischen Display und Linse deutlich reduziert werden, was in einem kompakteren Gehäuse resultiert. Außerdem ist die neuartige Linse leichter und verdichtet Pixel in der Mitte des Displays, was zu einem schärferen Bild führen soll. Ein weiterer Vorteil ist, dass sie weniger Lichtblitzer und Ghosting-Effekte verursacht, wenn Licht von außen reflektiert wird.

Mixed-Reality-Brillen mit Video-AR bleiben klobig

Im zweiten Teil des Beitrags kommt Larroque auf die Baustellen der Technik zu sprechen. Da es sich um eine wissenschaftliche Zeitschrift handelt, schreibt der Lynx-CEO nüchtern und offen über die technischen Hürden.

Den ersten und vielleicht größten Nachteil von Video-AR deutet Larroque nur an: dass sie angegraute VR-Technologie mit einem noch immer recht klobigen Formfaktor nutzt, nämlich ein Smartphone-Display, vor die eine dicke Linse geschaltet wird.

„Bei der Entwicklung von HMDs gibt es immer noch Hindernisse zu überwinden, etwa in Bezug auf Akkulaufzeit, Gewicht, Wärmeableitung und Ergonomie“, schreibt Larroque. Das heißt konkret: Eine unauffällige und leichte Video-AR-Brille, die man den ganzen Tag in der Öffentlichkeit trägt, wird man auf dieser Grundlage nicht bauen können.

Video-AR: Das Problem mit der Latenz

Eine weitere Hürde ist die Latenz, also die durch die Kameras und Videoübertragung bedingte Verzögerung zwischen einer Kopfbewegung und der Darstellung dieser Perspektivenänderung auf dem Display. Fällt diese zu hoch aus, stört der Unterschied den Brillenträger und kann im schlimmsten Fall zu Kopfschmerzen und Unwohlsein führen.

„Die Latenz wird immer eine Einschränkung sein. Die Verzögerung der Kamera-Feedbacks an das Display ist eines der wichtigsten Kriterien, das in allen technischen Prozessen des HMD-Designs ständig abgestimmt und optimiert werden muss“, schreibt Larroque.

Als Zielwert gibt Larroque eine Latenz von unter 10 Millisekunden an, wobei Lynx eine Verzögerung zwischen 8 und 15 Millisekunden aufweist, abhängig von der App.

Es gebe zwar schon PC-XR-Brillen, die auf einen Wert von weniger als zwei Millisekunden kommen, die Technik sei jedoch nicht autark und existiere nur in Laboren. Das folgende Lynx-Video zeigt den Blick durch die Linsen.

Weitere Hürden bei Mixed-Reality-Brillen: Artefakte und fixer Fokus

Die dritte Hürde ist der sogenannte Rolling-Shutter-Effekt (Wikipedia) der Kameras. Bei schnellen Kopfbewegungen kommen die integrierten Bildsensoren nicht mehr mit und es entstehen Verzerrungen und Artefakte im digitalen Sichtfeld.

Larroque nennt zwei mögliche Lösungen: Zum einen Kameras mit Global-Shutter-Sensoren, welche das Bild vollständig statt zeilen- und spaltenweise aufnehmen, zum anderen automatisierte Bildkorrekturen auf Basis vorberechneter Kopfbewegungen.

Das letzte von Larroque genannte Problem ist eines, das jede VR-Brille hat, aber bei Video-AR stärker stört: die fixe Fokusebene des optischen Systems.

AR-Objekte erscheinen mit der gegenwärtigen Technik immer gleich scharf und unabhängig davon, welche physischen Gegenstände man in den Fokus nimmt, was zu Augen- oder Kopfschmerzen und Übelkeit führen kann. Die „ultimative Lösung“ wäre ein System, das ein Lichtfeld aufnimmt und darstellt. Das sei jedoch Jahre von der Machbarkeit entfernt, meint Larroque.

Der Lynx-CEO glaubt trotz dieser Einschränkungen an die Zukunft von Videodurchsicht-AR und nennt dafür einen schlagenden Vorteil der Technik gegenüber transparenten AR-Displays: dass die gesamte physische Umgebung digitalisiert wird und dadurch visuell kontrolliert werden kann.

Oder wie Larroque sagt: „Ein Photon, das nicht durch Software gesteuert wird, ist ein Ärgernis, kein Feature.“

Weiterlesen über AR-Brillen:

Quelle: SID Online Library