Oculus Quest 2: Facebook zeigt neuen Augmented-Reality-Modus

24.07.2021 Matthias Bastian

Mit dem experimentellen Augmented-Reality-Modus für die VR-Brille Oculus Quest 2 will Facebook einen Ausblick geben auf zukünftige XR-Brillen - und Entwicklern die Zeit, mit der Technik zu experimentieren. Ab Ende des Jahres sollen Quest 2 AR-Apps für jedermann erscheinen.

Schlanke AR-Brillen mit viel Technik drin sind teuer und kompliziert. Außerdem haben sie visuelle Unzulänglichkeiten wie etwa durchsichtige Grafik oder ein enges Sichtfeld, die sich so schnell nicht beheben lassen werden. Die Physik steht im Wege.

Die visuell hochwertigste Augmented Reality ist heute und wahrscheinlich auch auf lange Sicht daher mit VR-Brillen mit integrierten Kameras möglich. Was Firmen wie Varjo oder Lynx in hoher Qualität bieten, kann Facebook bei Quest 2 (Test) zumindest experimentell in einer Low-Budget-Version per Software-Update nachrüsten.

Quest 2: Experimentelle AR-Passthrough-Technik startet für Entwickler

Zusammen mit dem neuen Upate 31.0 für Oculus Quest 2 bringt Facebook jetzt die Passthrough-API in der Oculus Unity-Entwicklungsumgebung an den Start. Unterstützung für weitere Engines soll folgen, ebenso wie die Produktivversion der Passthrough-API.

Für Verbraucher ist dieses Update voraussichtlich wenig relevant, da die niedrig aufgelöste schwarz-weiß Durchsicht von Quest 2 qualitativ viel Raum für Verbesserungen lässt. Die erste Quest wird ohnehin nicht unterstützt.

Entwickler können mit der Durchsicht-AR-Technik in Quest 2 jedoch experimentieren, erste App-Konzepte umsetzen und für Facebooks nächste VR-Brille lernen. Die dürfte AR-Durchsicht sicher auf einem höheren Niveau bieten und vielleicht sogar direkt als Mixed-Reality-Brille vermarktet werden, wenn sie qualitativ hochwertige AR und VR mit einer Durchlässigkeit zwischen beiden Technologien ermöglicht.

Developers will be able to start building and testing mixed reality experiences on Quest 2 with Passthrough API Experimental—an important step in unlocking the next generation of immersive experiences: https://t.co/BrGNTgHKSU (going to miss getting this FAQ at my AMAs =)) pic.twitter.com/y9koPSxiHm

— Boz (@boztank) July 23, 2021

AR-Apps auch für Verbraucher

Auf der Produktivversion der Passthrough-API basierende AR-Apps können dann im Oculus Store an alle Nutzer vermarktet werden. Laut Facebook wird das voraussichtlich bis Ende des Jahres der Fall sein. In einem Blog-Beitrag zeigt Facebook erste Demos für mögliche Anwendungen.

Passthrough-AR mit Oculus Quest 2 eigne sich beispielsweise für die Remote-Arbeit mit Kollegen, bei der man virtuelle Bildschirme und Avatare durch die Kamerabrille betrachtet, aber noch Zugriff hat auf seine realen Schreibtisch-Utensilien wie Maus und Tastatur. Die Durchlässigkeit zwischen VR und AR kann fließend eingestellt werden.

Weitere Anwendungsszenarien seien Spiele, die virtuelle und reale Welt stärker miteinander verschmelzen, etwa Zombies, die im Wohnzimmer auftauchen, oder die Möglichkeit, 3D-Kunst in die echte Welt zu zeichnen.

Entwickler können reale Objekte wie etwa eine Tastatur in die virtuelle Umgebung einbinden. Außerdem soll Durchsicht-AR eine bessere Interaktion ermöglichen mit Menschen oder Haustieren in der unmittelbaren Umgebung.

Schau mal wer da guckt: Facebook adressiert AR-Datenschutz

Über die in Quest 2 integrierten Tracking-Kameras orientiert sich das Gerät im Raum. Im AR-Modus wird noch offensichtlicher, dass Facebook dabei natürlich in die eigene Umgebung blicken kann. Es braucht nicht viel Fantasie, um sich vorzustellen, dass Facebook etwa über schnelle Bildanalyse-Algorithmen in Windeseile eine Liste erstellen könnte, welche Gegenstände sich in einem Haushalt befinden, umso mehr Marketing-Daten zu sammeln.

Facebook stellte erst Anfang des Jahres eine neue Bildanalyse-KI vor, die mehrere Objekte in einem Bild sowie Hinter- und Vordergrund schnell und verlässlich trennen kann, um darauf basierend dann eine passende Bildbeschreibung zu generieren. Für das KI-Training verwendete Facebook Milliarden von Nutzern verschlagwortete Instagram-Bilder.

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Facebooks neue Bildanalyse-KI kann mehr Objekte auf einem Bild identifizieren und sie räumlich verorten, beispielsweise in Hinter- und Vordergrund unterscheiden, sowie ihre Größe erkennen. Das schafft zusätzlichen Kontext für die Bildbeschreibung. | Bild: Facebook

Zumindest für die aktuelle Passthrough-Technik verspricht Facebook, dass das nicht passiert: AR-Apps haben keinen direkten Zugriff auf die Videoaufnahmen und dürfen auch keine Sequenzen daraus speichern. Das direkte Bildmaterial der Kameras würde nur auf dem Gerät verarbeitet. Die Passthrough-Technik sei "unter Berücksichtigung des Datenschutzes" entwickelt worden.

Ohnehin wären die niedrig aufgelösten schwarz-weiß Bilder von Quest 2 wohl nicht für automatische Analysen geeignet. Das wird nicht so bleiben und auch Facebooks Einstellung zu Datenschutz-Themen kann nachträglich justiert werden, das zeigen vergangene Erfahrungen.

Bei der Auswertung der reinen VR-Daten jedenfalls nimmt sich Facebook alle Freiheiten und dass die Bewegungsdaten über einen übergreifenden Login mit den Social-Profilen von Facebooks anderen Plattformen vermischt werden, ist mit ein Grund, weshalb in Deutschland das Bundeskartellamt gegen Facebook ermittelt und Quest 2 hierzulande nicht verkauft wird.

Quelle: Oculus

Weiterlesen über Oculus Quest 2:

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.