Project Cambria
0

Project Cambria: So funktioniert die neue Passthrough-Technik

Twitter Twitter LinkedIn Email
Project Cambria: So funktioniert die neue Passthrough-Technik
Bild: Meta

Metas Technikchef gibt neue Details zu Project Cambria preis und bestätigt damit vorangegangene Gerüchte über Metas neue VR-Brille.

Das prominenteste neue Feature des Geräts ist der hochwertige Passthrough-Modus. Nach außen gerichtete Kameras fangen die Umgebung ein und stellen sie auf den Displays dar, wo sie bei Bedarf um digitale Elemente erweitert werden können und so Augmented Reality ermöglichen.

Die Passthrough-Technik existiert schon lange. Was Project Cambrias Passthrough-Modus auszeichnet, ist die Qualität des Bilds. Die künstliche Sicht liegt dank besserer Kameras scharf und in Farbe vor. Das grobkörnige Schwarzweißbild der Meta Quest 2 gehört damit der Vergangenheit an.

___STEADY_PAYWALL___

Der hochwertige Passthrough-Modus hat zwei Vorteile: Zum einen wertet er Augmented Reality auf, indem er sie realistischer wirken lässt, zum anderen macht er die physische Welt in Gänze sichtbar und erhöht so den Nutzungskomfort. Letzteres macht Cambrias Passtrough-Modus zum besten Feature des Geräts.

Die Rekonstruktion der Welt: Vier Sensoren arbeiten im Einklang

Am Wochenende beantwortete Metas Technikchef Andrew Bosworth auf Instagram Fragen von VR-Fans. Dabei kam er auch auf den Passthrough-Modus zu sprechen und verriet neue Einzelheiten zur Passtrough-Technik.

"Wir nutzen viel bessere Kameras: sowohl RGB- als auch Schwarz-Weiß-Kameras, die für den Farb-Passthrough in Kombination arbeiten. Wir nutzen außerdem aktive statt passive Tiefenerkennung mit Infrarotstrahlen, die eine bessere Rekonstruktion des Bilds ermöglicht", sagte Bosworth.

Anschließend erklärte Bosworth, wie das Videobild zustande kommt: "Wenn du Farb-Passtrough machst, dann musst du die Welt auf eine Art neu projizieren. Weil die Kameras nicht mit den Pupillen übereinstimmen und auch die Tiefe versetzt ist. Es steckt eine Menge Arbeit dahinter, es so hinzubekommen, dass es sich gut anfühlt. Falls du Passthrough mit Quest oder Quest 2 genutzt hast: Das hier ist etwas Anderes, es ist aufregend."

Weshalb so viele Kameras?

Es ist das erste Mal, dass Meta eine Kombination aus Schwarzweiß- und Farbkameras für den Passthrough-Modus bestätigt. Wie viele, wissen wir nicht mit Sicherheit.

Code-Funde in der Quest-Firmware sprechen dafür, dass es sich um zwei Schwarzweißkameras und eine Farbkamera handelt. Erstere dürften für Umriss und Bewegungen, letztere für den Farbraum zuständig sein. Der Tiefensensor spielt laut Bosworth ebenfalls eine Rolle.

Das fertige Videobild der physischen Umgebung entsteht demnach aus einer Fusion all dieser Sensordaten, gesteuert von speziellen Algorithmen. Doch weshalb so kompliziert? Wäre es nicht einfacher, zwei RGB-Kameras zu nutzen?

3D-Phantomrendering von Cambria (finales Modell).

So sieht laut Brad Lynch die Anordnung der Sensoren aus: zwei seitliche Schwarzweiß-Kameras und eine Farbkamera in der Mitte. | Bild: Marcus Kane / Brad Lynch

Die komplexe Sensortechnik dürfte Meta mehr Flexibilität beim Endresultat geben und eine softwarebasierte Optimierung über die Zeit erlauben. Der Passthrough-Modus könnte sich nach und nach noch stärker verbessern, ohne dass sich die Hardware ändert. Das Quest-Handtracking ist ein gutes Beispiel und hat seit der Erstveröffentlichung große Qualitätssprünge hingelegt hat.

Alle bisherigen Infos und Gerüchte zur neuen VR-Brille findet ihr in unserem Cambria-Infoartikel.

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.

Kommentare lesen