Project Cambria: Diese Nachteile hat die neue AR-Technik
Hinweis: Dieser Artikel wurde am 4. September 2021 zum ersten Mal veröffentlicht und wurde im Hinblick auf Project Cambria überarbeitet und verbessert.
Project Cambria und Lynx R-1 werden auf absehbare Zeit die beste Mixed Reality bieten. Die neue Video-AR-Technik hat aber auch Nachteile.
Solange es keine grundlegenden Durchbrüche in der AR-Displaytechnik gibt, werden VR-Brillen mit Video-AR die beste Art sein, Augmented Reality zu erleben. Bei dieser Technik wird die Umgebung mithilfe der im Gehäuse integrierten Kameras gefilmt und als Videobild auf die Displays übertragen, wo sie nach Belieben um digitale Elemente erweitert werden kann.
___STEADY_PAYWALL___Diese Video-AR-Technik hat große Vorteile gegenüber klassischen AR-Brillen mit transparenter Optik wie Hololens 2, Magic Leap 1 oder Nreal Light. Zu diesen Vorteilen gehören:
- ein weites Sichtfeld von 90 Grad oder mehr statt Mini-Sichtfeld
- AR-Elemente erscheinen solide statt geisterhaft durchsichtig
- die AR-Brillen sind selbst bei hellem Tageslicht und im Freien einsetzbar, ohne künstliche Verdunkelung der Sicht
- im Unterschied zu transparenten Systemen können dunkle AR-Objekte und Schattierungen dargestellt werden.
Wegen dieser Vorteile wird Apples erste Techbrille wohl auf Video-AR setzen (siehe Info-Artikel zu Apples XR-Brille). Meta hat für 2022 ebenfalls eine Mixed-Reality-Brille mit Video-AR-Technik angekündigt, die unter dem Codenamen Project Cambria entwickelt wird. Und mit der Lynx R-1 (Infos) erscheint ebenfalls 2022 ein weiteres Gerät dieser Sorte.
Inhalt
Video-AR-Brillen nutzen etablierte Technik...
Zu den obigen Vorteilen kommt hinzu, dass Video-AR-Brillen leichter und günstiger herzustellen sind, da sie die gleiche Technik wie VR-Brillen nutzen, die auf weitverbreitete Smartphone-Bauteile zurückgreift. An transparenten AR-Displays wie etwa Wellenleitern wird hingegen noch geforscht und sie sind aufwendiger in der Herstellung.
Ein Leak von Metas kommender Project Cambria-Brille. Die Kameras sind nicht zu sehen. | Bild: Facebook
"Video-AR-Brillen werden weiterhin vom Hardware-Ökosystem des Smartphones profitieren, vor allem bei Displays und Kameras, die sich viel schneller entwickeln als AR-Brillen, die transparente Optik nutzen, weil die Forschung- und Entwicklungskosten von Smartphone-Verkäufen getragen werden", schreibt Lynx-Gründer Stan Larroque in der jüngsten Ausgabe der Zeitschrift Information Display.
In seinem Beitrag mit der Überschrift "Digital Pass-Through Head-Mounted Displays for Mixed Reality" stellt der junge Unternehmer die autarke Video-AR-Brille Lynx R-1 vor.
...und das hat Nachteile für den Formfaktor
Im zweiten Teil seines Beitrags geht er auf die Kompromisse ein, die mit der Video-AR-Technik einhergehen. Da es sich um eine wissenschaftliche Zeitschrift handelt, schreibt der Lynx-CEO nüchtern und offen über die technischen Hürden.
Den ersten und vielleicht größten Nachteil von Video-AR deutet Larroque nur an: dass sie angegraute VR-Technologie mit einem noch immer recht klobigen Formfaktor nutzt, nämlich ein Smartphone-Display, vor die eine dicke Linse geschaltet wird.
Die Lynx R-1 hat im Augenabstand zwei hochauflösende Kameras verbaut, die als digitale Augen fungieren. | Bild: Stan Larroque
„Bei der Entwicklung von HMDs gibt es immer noch Hindernisse zu überwinden, etwa in Bezug auf Akkulaufzeit, Gewicht, Wärmeableitung und Ergonomie“, schreibt Larroque. Das heißt konkret: Eine unauffällige und leichte Video-AR-Brille, die man den ganzen Tag in der Öffentlichkeit trägt, wird man auf dieser Grundlage nicht bauen können, auch wenn es in dieser Richtung Hoffnung gibt.
Video-AR: Das unvermeidliche Latenz-Problem
Ein weiterer Nachteil ist die Latenz, also die durch Sensortechnik und Videoübertragung bedingte Verzögerung zwischen dem, was in der Welt passiert und was man auf dem Display sieht. Fällt diese zu hoch aus, stört der Unterschied und kann im schlimmsten Fall zu Kopfschmerzen und Unwohlsein führen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
„Die Latenz wird immer eine Einschränkung sein. Die Verzögerung der Kamera-Feedbacks an das Display ist eines der wichtigsten Kriterien, das in allen technischen Prozessen des HMD-Designs ständig abgestimmt und optimiert werden muss“, schreibt Larroque.
Als Zielwert gibt der Lynx-CEO eine Latenz von unter 10 Millisekunden an, wobei Lynx eine Verzögerung zwischen 8 und 15 Millisekunden aufweist, abhängig von der App.
Es gebe zwar schon PC-XR-Brillen, die auf einen Wert von weniger als zwei Millisekunden kommen, die Technik funktioniere jedoch nicht autark und existiere nur in Laboren.
Das folgende Video zeigt den Blick durch die Linsen der Lynx R-1. Hier fällt die Latenz kaum auf, dafür eine anderes grundsätzliches Problem, auf das Larroque nicht eingeht: die im Vergleich zum natürlichen Sehen leicht verfärbte Sicht. Bis Video-AR-Brillen die Welt so wiedergeben, wie wir sie mit den Augen sehen, dürfte jedenfalls noch Zeit vergehen.
Weitere Hürden: Artefakte und fixer Fokus
Die dritte Hürde ist der sogenannte Rolling-Shutter-Effekt (Wikipedia) der Kameras. Bei schnellen Kopfbewegungen kommen die integrierten Bildsensoren nicht mehr mit und es entstehen Verzerrungen und Artefakte im digitalen Sichtfeld.
Larroque nennt zwei mögliche Lösungen: Zum einen Kameras mit Global-Shutter-Sensoren, welche das Bild vollständig statt zeilen- und spaltenweise aufnehmen, zum anderen automatisierte Bildkorrekturen auf Basis vorberechneter Kopfbewegungen.
Das letzte von Larroque genannte Problem ist eines, das jede VR-Brille hat, aber bei Video-AR stärker stört: die fixe Fokusebene des optischen Systems.
AR-Objekte erscheinen mit der gegenwärtigen Technik immer gleich scharf und unabhängig davon, welche physischen Gegenstände man in den Fokus nimmt, was zu Augen- oder Kopfschmerzen und Übelkeit führen kann. Die „ultimative Lösung“ wäre ein System, das ein Lichtfeld aufnimmt und darstellt. Das sei jedoch Jahre von der Machbarkeit entfernt, meint Larroque.
Der Lynx-CEO glaubt trotz dieser Einschränkungen an die Zukunft von Video-AR und nennt dafür einen schlagenden Vorteil der Technik gegenüber transparenten AR-Displays: dass die gesamte physische Umgebung digitalisiert wird und dadurch Pixel per Pixel kontrolliert werden kann.
Oder wie Larroque sagt: „Ein Photon, das nicht durch Software gesteuert wird, ist ein Ärgernis, kein Feature.“
Weiterlesen über AR-Brillen:
- VR-AR-Brille Lynx: Diese Demo zeigt die Vorteile von Video-AR
- Tim Cook: Die AR-Brille soll sein Vermächtnis werden
- Facebook AR-Brille: Neue Details zu Project Aria
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
