Meta Quest 2: Metas launcht neue AR-Features und Demo
The World Beyond demonstriert brandneue AR-Features der Quest 2. Ich habe die Techdemo ausprobiert.
Auf der Connect 2021 stellte Meta die Presence Platform vor: ein Satz neuer Schnittstellen für Quest 2, die natürlichere Hand- und Sprachinteraktionen sowie Augmented-Reality-Features beinhalten.
Einige dieser Schnittstellen rollten im Verlauf des letzten und dieses Jahres an Entwickelnde aus, wie die Möglichkeit, den Passthrough-Modus der Quest zu nutzen oder die Stimme für Spracherkennung in VR-Apps einzusetzen.
___STEADY_PAYWALL___Gestern launchte Meta eine neue SDK-Version. Sie ist ein wichtiger Meilenstein, denn sie komplettiert sämtliche Presence-Platform-Features, die letztes Jahr angekündigt wurden. Diese können ab sofort in Gänze in VR- oder AR-Apps implementiert werden.
Inhalt
Neue AR-Features: Digitale Anker und Raumverständnis
Neu hinzugekommen sind zwei AR-Schnittstellen: Spatial Anchors und Scene Understanding.
Mit Spatial Anchors lassen sich digitale Objekte dauerhaft im physischen Raum verankern. So ist es etwa möglich, selbst gemalte Kunstwerke und eine riesige Youtube-Glotze an die eigene Wand zu hängen oder sich einen festen Arbeitsplatz mit mehreren virtuellen Monitoren einzurichten.
Die Quest 2 merkt sich die räumliche Position der virtuellen Objekte, sodass sie beim späteren Aufsetzen der VR-Brille erneut am gleichen Ort erscheinen.
Mit Scene Understanding erhält die Quest ein einfaches Raumverständnis und kann Geometrie und Objekte im Raum erkennen und einordnen. Physische Gegenstände können digitale Elemente verdecken und umgekehrt. Entwickelnde können mit dieser Schnittstelle AR-Apps erschaffen, die Möbel und andere Gegenstände in die Erfahrung einbinden.
Meta arbeitet bereits an neuen Schnittstellen der Presence Platform. Einige werden die einzigartigen Hardware-Features von Project Cambria (Infos) nutzen, wie zum Beispiel Face- und Eye-Tracking.
Meta veröffentlicht AR-Demo
Mit dem Launch des neuen SDK ist auch die AR-Demo The World Beyond im App Lab erschienen. Sie soll beispielhaft zeigen, was sich mit den neuen Schnittstellen anstellen lässt. Entwickelnde haben Zugriff auf den Code und können sich damit an die neuen Features herantasten.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
In den nächsten Tagen dürften erste AR-Apps erscheinen, die Spatial Anchors und Scene Understanding nutzen. Darunter zwei Demos der VR-Studios Schell Games (I Expect You To Die, Until You Fall) und Resolution Games (Blaston, Demeo), die im obigen Video angeteasert sind.
The World Beyond: Bühne frei für Oppy
Doch kommen wir zu The World Beyond. Startet ihr die AR-Erfahrung, folgt die erste Überraschung: Ein neues Feature namens "Zimmer einrichten" erlaubt euch, Wände und Fenster sowie einzelne Objekte wie Couches und Tische einzuzeichnen. Die Quest merkt sich deren Anordnung und kann die physischen Gegebenheiten und Gegenstände in die AR-Erfahrung einbeziehen.
Nach der Einrichtung startet die AR-Erfahrung und lässt aus dem Zimmerboden heraus ein seltsames Artefakt erscheinen. Nehmt ihr es mit der Hand auf, könnt ihr mit der geöffneten Hand ins Zimmer leuchten und im Lichtkegel ein digitales Lebewesen namens Oppy aufspüren.
Mit einer Geste lassen sich blaue Kugeln heranziehen und durch das Zimmer werfen, die an den zuvor eingezeichneten Wänden realistisch abprallen. Spielt ihr mit Oppy und füttert ihr es mit den Kugeln, wird das Wesen zutraulich, sodass ihr es mit den Händen streicheln oder mit der eigenen Stimme zu euch rufen könnt.
Später könnt ihr, erneut durch eine Geste, einzelne Zimmerwände verschwinden lassen. Im Hintergrund erscheint die Paralleldimension, aus der Oppy stammt: ein toller Augmented-Reality-Effekt, den man mit eigenen Augen gesehen haben muss.
Video-AR mit Meta-Brillen: Das ist erst der Anfang
In The World Beyond kommen eine Reihe von Schnittstellen zum Einsatz: neben Scene Understanding fällt das Handtracking und das Voice SDK (Sprachsteuerung) auf. Trotz teils toller Tricks, die man so noch nicht gesehen hat mit Quest 2: Das AR-Potenzial ist eher angedeutet, als realisiert. Für überzeugende AR braucht es mehr.
Zum einen wünsche ich mir einen hochwertigeren RGB-Passthrough-Modus, der wohl im Herbst mit Project Cambria kommt. Zum anderen wäre es schön, wenn die Quest 2 Wände und Objekte automatisch erkennen könnte. Verschiebe ich einen Stuhl oder ein anderes Möbelstück, muss der betreffende Gegenstand jedes Mal neu eingezeichnet werden. Die eingezeichneten Objekte sind zudem grobe Quader, was realistischere Verdeckungseffekte verhindert.
Die gute Nachricht ist, dass die Raum- und Objekterkennung mit der Zeit besser werden dürfte. Project Cambria hat einen speziellen Tiefensensor verbaut, der helfen könnte, selbst Umrisse von Objekten zu erkennen und Teil der AR-Erfahrung zu machen. The World Beyond ist also erst der Anfang.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
