Meta Quest 3: Lang erwartete MR-Schnittstelle ist jetzt verfügbar
Entwickler haben jetzt Zugriff auf die RGB-Kameras der Meta Quest 3 und können damit neuartige Mixed-Reality-Anwendungen programmieren.
Mit Version 74.0 des Meta XR Core SDK erhalten Entwicklende Zugriff auf das Bildmaterial der Passthrough-Kameras, eine Funktionalität, die Meta Passthrough Camera API (PCA) nennt.
"Diese neue API ermöglicht den Zugriff auf die nach vorn gerichteten RGB-Kameras und soll es Entwicklern ermöglichen, die Qualität ihrer Apps zu verbessern (z. B. Beleuchtung und Effekte) und ML/CV-Pipelines für Apps wie die Objekterkennung zu steuern."
PCA ist für Erste experimentell, d. h. dass Entwickelnde erste Apps und App-Features unter Verwendung von PCA entwickeln können, diese jedoch nicht im Horizon Store veröffentlichen dürfen. Das ist gängig bei bahnbrechenden neuen Schnittstellen, deren Möglichkeiten noch nicht abzusehen sind. Die volle Verfügbarkeit dürfte in ein paar Monaten folgen.
We have been working hard on something special for you guys - Access to the Meta Quest cameras👀
AnzeigeAnzeige👨🏫 Learn all about it here: https://t.co/BcV2VVRrYn
⭐️ Check out my samples here: https://t.co/CC7chZdrOHOur official Passthrough Camera Samples: https://t.co/YqjmDJ9evi… pic.twitter.com/WGvKZqhTai
— Robi ᯅ (@xrdevrob) March 14, 2025
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Es wird demnach noch einige Zeit dauern, bis die ersten VR- und MR-Apps mit APC-Funktionen im Horizon Store erscheinen. In der Zwischenzeit darf man interessante Beispiele auf Plattformen wie Sidequest und Github erwarten.
Damit Apps PCA nutzen können, müssen Nutzer:innen beim ersten App-Start eine entsprechende Erlaubnis gewähren, ähnlich wie beim Mikrofonzugriff.
Erste Beispiele von Studios folgen demnächst
PCA wird nur von Meta Quest 3 und 3S unterstützt. Apps können pro Kamera 30 Bilder pro Sekunde mit einer Auflösung von maximal 1.280 mal 960 Pixel abgreifen. Die Latenz beträgt 40 bis 60 Millisekunden. Die Machine-Learning- und Computer-Vision-Algorithmen könnten demnach Schwierigkeiten mit sich schnell bewegenden Objekten und kleinen oder weit entfernten Bildern sowie Text haben.
Meta hat bei GitHub eine Reihe von Unity-Beispielen für PCA-Verwendung veröffentlicht. Fünf weitere Beispiele liefert der Meta-Ingenieur Roberto Coviello mit seinem QuestCameraKit. Zu den demonstrierten Features gehören QR Code Tracking, Objekterkennung und eine Integration von OpenAIs Visual Model für die Echtzeit-Analyse von Bildmaterial.
Auf der heute beginnenden GDC werden die Studios Niantic, Resolution Games und Creature anhand eigener Apps demonstrieren, was sie mit PCA bewerkstelligen konnten. Die Studios haben vorab Zugriff auf die Schnittstelle erhalten.
Ihr interessiert euch für VR und AR? Diskutiert mit uns auf Instagram oder Facebook oder teilt eure Meinung in den Kommentaren.
Für Feedback, Themenvorschläge oder andere Ideen schickt uns bitte eine E-Mail an hallo@mixed.de oder hüpft auf unseren Discord-Server.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
