Connect 2022: Meta gibt Tech-Ausblick auf nächste 5-10 Jahre
Im Rahmen der Meta Connect 2022 zeigte Meta neue Forschung im Bereich Virtual und Augmented Reality. Ein Überblick mit Videobeispielen.
Metas Forschung ist auf zehn Jahre und länger ausgelegt und erweitert die Grenzen dessen, was heutzutage möglich ist bei Technologien wie Virtual Reality, Augmented Reality und Künstliche Intelligenz. Entsprechend spannend ist, was in den Laboren der Reality Labs entwickelt wird.
Auf der Meta Connect 2022 gab das Unternehmen ein Update zur Forschung, das viele Bereiche abdeckt: von Metas AR-Brille, über neurale Interfaces und 3D-Scanning bis zu den fotorealistischen Codec-Avataren.
___STEADY_PAYWALL___Inhalt
Augmented Reality
Metas möchte in den nächsten Jahren eine schlanke, optisch ansprechende und zugleich leistungsfähige AR-Brille auf den Markt bringen. Da die technischen Herausforderungen in puncto Miniaturisierung, Leistung, Batteriekapazität und Abwärme sehr groß sind, verfolgt Meta bei der Entwicklung eine doppelte Strategie.
"Brillen müssen relativ klein sein, um gut auszusehen und sich gut anzufühlen. Aus diesem Grund gehen wir die Entwicklung von AR-Brillen von zwei verschiedenen Seiten aus an", sagt Mark Zuckerberg in der Keynote. "Der erste besteht darin, die gesamte Technologie zu entwickeln, die wir für eine richtige AR-Brille benötigen und sie dann in den bestmöglichen Brillenformfaktor einzupassen. Der zweite Ansatz besteht darin, mit dem idealen Formfaktor zu beginnen und im Laufe der Zeit immer mehr Technologie einzubauen."
Ersteres Vorhaben hört auf den Codenamen Project Nazare, letzteres ist ein Gemeinschaftsprojekt von Meta und EssilorLuxottica, dem weltgrößten Brillenhersteller. Aus dieser Partnerschaft ist bereits ein Produkt hervorgegangen: die Ray-Ban Stories, die eine Reihe smarter Funktionen bietet, aber kein Display verbaut hat.
Auf der Meta Connect 2022 gaben Meta und EssilorLuxottica ein Update zum Datenbrillenprojekt und der Kooperation:
- Die Ray-Ban Stories erhalten demnächst per Software-Update die Möglichkeit, freihändig Kontakte anzurufen oder eine Textnachricht zu senden. Ebenfalls neu ist ein Feature namens Spotify Tap. "Du tippst einfach auf das Brillengestell und hältst es gedrückt, um Spotify abzuspielen. Wenn du etwas anderes hören möchtest, tippst du erneut auf das Brillengestell und Spotify empfiehlt dir etwas Neues", schreibt Meta.
- Der Wearables-Chef von EssilorLuxottica Rocco Basilico kündigte in der Keynote an, dass sein Unternehmen und Meta an einer neuen Brille arbeiten, die ein "Portal ins Metaverse" öffnen soll. Kommt die nächste Generation der Ray-Ban Stories mit einem Display? Dies ließen Zuckerberg und Basilico offen.
Und was ist mit Project Nazare?
Auf der Meta Connect 2021 simulierte Meta, wie ein Blick durch Project Nazare aussehen könnte. Dieses Jahr lieferte Zuckerberg einen weiteren Teaser des AR-Headsets, ohne selbiges zu zeigen.
Metas CEO bewegt sich mit dem Gerät einen Gang hinab und steuert es mithilfe eines EMG-Armbands. Zu sehen ist offenbar ein Blick durch Project Nazare.
Zuckerberg schickt Metas Forschungschef Michael Abrash eine Nachricht und nimmt ein Video auf, beides mittels Mikrogesten. Möglich macht dies das EMG-Armband (siehe auch: Elektromyografie), das motorische Hirnsignale am Handgelenk abfängt und mithilfe von KI in Computerbefehle verwandelt. Meta sieht in dieser Art Interface das wichtigste AR-Bedienkonzept der Zukunft neben Sprachsteuerung und Handtracking.
Wann Project Nazare erscheinen könnte, sagte Zuckerberg nicht. Einem Bericht zufolge plant Meta mit einer Vorstellung im Jahre 2024 und einer Kommerzialisierung im Jahre 2026.
Neurales Interface
Ein weiterer Block in Metas Forschungs-Update betrifft das bereits erwähnte EMG-Armband.
Meta setzt für das AR-Interface der Zukunft auf eine Verbindung aus dieser Technologie und einer personalisierten KI-Assistenz, die den Kontext einer Situation und Handlung erkennt und Brillenträger:innen proaktiv in ihrem Alltag unterstützt. Dies soll eine intuitive, nahezu reibungslose Mensch-Computer-Schnittstelle ermöglichen.
"Durch die Kombination von maschinellem Lernen und Neurowissenschaften wird diese künftige Schnittstelle für verschiedene Menschen funktionieren und deren Unterschiede in Bezug auf Physiologie, Größe und mehr durch einen Prozess berücksichtigen, der als ko-adaptives Lernen bekannt ist", schreibt Meta.
Ein Video veranschaulicht dies. Darin sind zwei Meta-Angestellte zu sehen, die per EMG-Armband und Bewegungen ihrer Finger ein einfaches Arcade-Spiel spielen. Man beachte, dass sie leicht unterschiedliche Gesten nutzen – die Künstliche Intelligenz lernt von den Signalen und Bewegungen an und generiert ein individuelles Modell.
"Jedes Mal, wenn einer von ihnen die Geste ausführt, passt sich der Algorithmus an die Interpretation der Signale dieser Person an, sodass die natürliche Geste jeder Person schnell und mit hoher Zuverlässigkeit erkannt wird. Mit anderen Worten, das System wird mit der Zeit immer besser darin, sie zu verstehen", schreibt Meta.
Je besser der Algorithmus trainiert ist, desto weniger müssen sich Hände und Finger bewegen. Das System erkennt die Handlungen, für die sich die Person bereits entschieden hat, indem es die Signale am Handgelenk dekodiert und in digitale Befehle umwandelt.
AR-Navigation für Sehbehinderte
Meta arbeitet mit der Carnegie Mellon University (CMU) an einem Forschungsprojekt, das Sehbehinderten dabei hilft, sich in komplexen Innenräumen zurechtzufinden.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Die Forscher:innen der Universität nutzten Metas Sensorbrille Project Aria, um den Pittsburgher Flughafen in 3D einzuscannen. Mit dieser 3D-Karte der Umgebung trainierten sie KI-Lokalisierungsmodelle. Die von der CMU entwickelte Smartphone-App NavCog ist dadurch in der Lage, Nutzer:innen sicherer durch den Flughafen zu geleiten, indem es Audio-Anweisungen durchgibt.
Der folgende Videoausschnitt erklärt die Technologie.
Einfaches 3D-Scanning
Mixed-Reality-Headsets wie Meta Quest Pro zeigen die physische Umgebung im Headset an. Objekte einscannen und als 3D-Modelle abspeichern können sie noch nicht. Wäre dies möglich, könnte man reale Gegenstände in virtuelle Umgebungen holen.
"Es ist schwierig, 3D-Objekte von Grund auf zu erstellen und die Verwendung physischer Objekte als Vorlagen könnte einfacher und schneller sein. Heutzutage gibt es keine simple Möglichkeit, das zu tun. Deshalb forschen wir an zwei verschiedenen Technologien, um dieses Problem zu lösen", schreibt Meta.
Die erste nutzt maschinelles Lernen, sogenannte Neural Radiance Fields oder kurz: NeRFs, um aus wenigen Fotos ein enorm detailliertes 3D-Objekt zu erstellen.
Die zweite Technologie hört auf den Namen Inverse Rendering. Objekte, die mit diesem Verfahren digitalisiert wurden, reagieren dynamisch auf die Beleuchtung und Physik in VR-Umgebungen.
Ein Nachteil beider Technologien ist, dass sie noch nicht in Echtzeit arbeiten. Meta sieht sie aber als wichtige Schritte auf dem Weg zu einem einfachen 3D-Scanning physischer Objekte.
Codec-Avatare
Fotorealistische digitale Begegnungen: Für Mark Zuckerberg ist das die Killer-App von Virtual und Augmented Reality.
Zu diesem Zweck arbeitet Meta seit vielen Jahren an sogenannten Codec-Avataren: digitale Alter Egos, die sich in ihrem Erscheinungsbild kaum vom menschlichen Original unterscheiden.
Auf der Meta Connect 2021 zeigte Meta Codec-Avatare der zweiten Generation und führte Ganzkörperavatare vor. Dieses Jahr gab es erneut ein Update zur Technologie.
Die Codec-Avatare 2.0 können nun zwischen virtuellen Outfits wechseln und sind noch ausdrucksstärker. Um die verbesserte Expressivität zu demonstrieren, ließ Mark Zuckerberg einen Codec-Avatar von sich anfertigen. Das folgende Video zeigt, was die Technologie mittlerweile leistet.
Eines der größten Probleme für die Vermarktung und Aneignung von Codec-Avataren ist die aufwendige Erstellung: Nutzer:innen müssten sich in einem speziellen 3D-Studio einscannen lassen.
Um die Generierung eines persönlichen Codec-Avatars zu vereinfachen, arbeitet Meta an Instant Codec Avatars. Hierbei reicht ein zweiminütiger Scan des Gesichts mit dem Smartphone. Das folgende Video veranschaulicht den Aufnahmeprozess.
Nachteile dieses Verfahrens sind, dass der fertige Avatar nicht ganz so realistisch aussieht wie der Zuckerbergs und dass es noch immer Stunden dauert, bis der Avatar erstellt und einsatzbereit ist. Meta arbeitet jedoch an der Optimierung des Verfahrens.
Meta Connect 2022: Update zur Forschung bei Youtube anschauen
Meta betont, dass es sich bei den gezeigten Projekten um Forschung handelt und dass die Technologien nicht zwingend Eingang in Produkte finden müssen. "Dennoch ist es ein Ausblick darauf, wohin sich die Technologie in den nächsten fünf bis zehn Jahren entwickeln wird", schreibt Meta.
Nachfolgend findet ihr den Videoausschnitt, der die in diesem Artikel vorgestellten Neuheiten vorstellt.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
