Meta über Eye-Tracking: "Es ist superhart"

14.02.2022 Tomislav Bezmalinovic

Metas XR-Chef Andrew Bosworth spricht über zwei große technologische Hürden der VR: Eye-Tracking und Ganzkörpertracking.

Mit Project Cambria bringt Meta dieses Jahr erstmals eine VR-Brille mit Eye-Tracking auf den Markt. Die Blickverfolgung soll realistischere Avatare und Augenkontakt in sozialen VR-Apps ermöglichen und könnte neue, blickgesteuerte Eingabemethoden und Interaktionen bringen.

Foveated Rendering ist hingegen noch Zukunftsmusik. Bei dieser Rendertechnik ermittelt die VR-Brille, welchen Bereich des Bilds das Auge fokussiert und berechnet nur diesen in vollem Detailgrad. Das könnte Energie oder Rechenleistung sparen. Zumindest in der Theorie.

Eye-Tracking ist noch nicht geknackt

In seiner jüngsten Frage-und-Antwort-Runde auf Instagram macht Andrew Bosworth deutlich, dass Eye-Tracking längst nicht ausgereift ist und erklärt auch, weshalb.

"Wir forschen seit Langem an Eye-Tracking, um die Ausdrucksfähigkeit von Menschen zu verbessern, aber auch für Foveated Rendering. Die Sache ist die: Eye-Tracking ist superhart. Die biologischen Unterschiede von Mensch zu Mensch sind sehr groß, besonders bei solchen mit Astigmatismus oder bestimmten Formen der Horn- und Netzhaut. Es ist sehr schwer, eine vollständige Abdeckung zu erreichen", sagt Bosworth. Mit Abdeckung ist gemeint, dass Eye-Tracking für 100 Prozent der Bevölkerung funktioniert.

Bei Foveated Rendering sind die Anforderungen besonders hoch. Hier müsse man Augenbewegungen nicht nur schnell genug verfolgen, man müsse sie sogar ein Stück vorhersagen können, meint Bosworth. Das sei "wirklich schwierig". Meta sei noch ein Stück weit von der Vision entfernt, die die Menschen mit Foveated Rendering verbinden.

Körpertracking: Meta forscht (auch) an externen Lösungen

Eine andere schwierige Hürde ist das Ganzkörpertracking, zumindest, wenn man auf externes Trackingzubehör verzichtet. Meta Quest 2 erfasst nur Kopf- und Handbewegungen, Bewegungen des Unterkörpers erkennt sie nicht. Die integrierten Kameras helfen nicht, da die Beine und Füße nicht immer und gut sichtbar sind.

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Sämtliche Körperbewegungen zu erfassen und in die Virtual Reality zu übertragen, hätte viele Vorteile: Es ermöglichte wie Eye-Tracking realistischere Avatare und neue Interaktionsformen und könnte darüber hinaus bei der Auswertung physischer Aktivität helfen, was insbesondere im Kontext der VR-Fitness von Nutzen wäre.

"Für einige der Anwendungsfälle, die den Leuten vorschweben, ist ein externes Tracking des Körpers wahrscheinlich notwendig. Das ist eines der Dinge, an denen wir arbeiten", sagt Bosworth. Der große Nachteil ist hier, dass man weitere Komponenten benötigt, was sich in zusätzlichen Kosten und extra Einrichtungsaufwand niederschlägt, so Bosworth. Eine Meldung von letzter Woche, die nahelegt, dass Meta an einer Körpertracking-Lösung für Quest 2 arbeitet, bezeichnet Bosworth als verfrüht.

Das fehlende Ganzkörpertracking ist der Grund, weshalb Metas Avatare schwebende Torsos ohne Beine sind – ein Umstand, der auf viel Kritik und Spott stößt.

Metas Absturz an der Börse: "Ich mache mir keine Sorgen"

Der Leiter der Reality Labs sprach außerdem folgende Punkt an:

• Metas Aktiencrash. Meta habe früher Ähnliches erlebt und er mache sich keine Sorgen darüber, da er langfristig denkt. Meta verdiene immer noch viel Geld. Weil sich die Investitionen in VR und AR erst auf längere Sicht auszahlen würden, heißt das nicht, dass sie schlecht sind.
• Dass es so umständlich sei, selbst erstellte VR-Inhalte (Bilder, Videos) auf Instagram, Messenger und Whatsapp zu teilen, sei eine "berechtigte Kritik". Meta arbeite daran.
• Der Quest Store sei offen für Streaming-Plattformen wie Disney+. Es liege an den Anbietern und nicht Meta, solche Inhalte auf Quest bereitzustellen.
• Ein Game-Pass-ähnliches Angebot für die Quest-Plattform sieht Bosworth so bald nicht kommen. Damit sich dieses Modell rechne, müssten der App-Katalog erst noch wachsen und VR-Inhalte auf mehreren Plattformen angeboten werden.
• Zum Thema Kinder und Virtual Reality (siehe auch MIXEDCAST-Folge #284) verweist Bosworth auf die Altersbeschränkung der Meta Quest 2, bestehende Kontrollsysteme (Casting-Möglichkeiten, Alterseinstufungen für VR-Apps) und die Aufsichtspflicht der Eltern. "Ich kenne kein System zur Überprüfung des Alters, das nicht umgangen werden kann", meint Bosworth
• Wann es Updates zu Project Cambria geben wird, sagte Bosworth nicht. Das Team mache aber weiterhin gute Fortschritte.

Weiterlesen über Meta:

• Meta plant "große Ankündigung" und will Metaverse-Klarheit schaffen
•  Meta Quest 2: Schaut Metas Super-Bowl-Werbespot
• Meta rollt verbesserte Metaverse-Avatare aus

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.