Metas mächtige neue MR-Schnittstelle: Erste Demos angekündigt
Auf der GDC nächste Woche demonstrieren VR-Studios zum ersten Mal, welche Möglichkeiten Metas neue MR-Kameraschnittstelle eröffnet.
Vom 17. bis 25. März findet in San Francisco die Game Developers Conference (GDC), die weltgrößte Entiwcklerkonferenz, statt. Meta wird mit mehr als einem Dutzend Vorträgen und Veranstaltungen auf der Konferenz vertreten sein.
Auf einer Veranstaltung mit dem Titel Merge Realities, Multiply Wonder: Expert Guidance on Mixed Reality Development wird Meta in die Passthrough API einführen. Diese erlaubt die "Echtzeit-Nutzung maßgeschneiderter Computer Vision für den Einsatz in Spielen". Meta verspricht Praxisbeispiele von Entwicklern, die "unsere neueste Passthrough API bereits nutzen, um ihre Anwendungen auf die nächste Stufe zu heben."
In Aussicht gestellt wird zudem ein "exklusiver Einblick in einige der aufregenden kommenden Roadmap-Elemente, die die MR-Entwicklung revolutionieren werden."
Die Veranstaltung findet am 18. März 2025 statt. Wir hoffen, dass sie mit der Ankündigung einer allgemeinen Verfügbarkeit der neuen MR-Schnittstelle einhergeht.
Was ist die Passthrough API?
Derzeit können Mixed-Reality-Apps nur auf abstrakte Daten der physischen Umgebung zugreifen. Dazu gehören ein grober 3D-Scan des Raumes sowie Quader, die einzelne Möbelstücke repräsentieren.
Mit der im September 2024 angekündigten Passthrough API werden Mixed-Reality-Apps zum ersten Mal Zugriff auf den Passthrough-Feed der Kameras erhalten. Damit werden Apps die physische Umgebung und einzelne Objekte mittels Computer Vision besser erkennen, analysieren und darauf reagieren können - eine wichtige Voraussetzung für fortgeschrittene Mixed Reality.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
In einem bereits online gestellten Support-Artikel (zuerst entdeckt von Luna) erläutert Meta, auf welche Weise Apps vom Kamerazugriff profitieren können. Aus dem Englischen übersetzt:
- Objekterkennung: Entwickler können Anwendungen erstellen, die bestimmte Objekte in ihrer realen Umgebung erkennen und nutzen. Zum Beispiel ein digitales Brettspiel, das physische Spielsteine oder Bretter enthält.
- Standorterkennung: Entwickler können Erlebnisse schaffen, die unterschiedlich reagieren, je nachdem, wo Sie sich laut Kamerabild befinden. Zum Beispiel drinnen oder draußen, an einem berühmten Wahrzeichen oder in einem bestimmten Raum.
- Andere Funktionen für maschinelles Lernen: Entwickler können benutzerdefinierte Modelle für maschinelles Lernen auf Daten aus dem Echtzeit-Kamerafeed anwenden. Dies könnte für Retexturierung/Schattierung, Spiele mit Teilnehmern, die keine Headsets tragen, Personen-/Tiererkennung oder eine beliebige Anzahl von benutzerdefinierten industriellen/trainingsbezogenen Anwendungsfällen verwendet werden.
Die Passthrough API wurde für Anfang 2025 angekündigt. Reality Labs-Chef Andrew Bosworth sagte vor einem Monat, dass dieser Zeitplan immer noch aktuell sei und einige Entwickler bereits Zugang zu der Schnittstelle hätten und damit experimentieren. Nächste Woche dürften wir demnach die Früchte dieser Experimente sehen.
Welche neuen Möglichkeiten erhofft ihr euch von der Passthrough API? Diskutiert mit uns auf Instagram oder Facebook oder teilt eure Meinung in den Kommentaren.
Für Feedback, Themenvorschläge oder andere Ideen schickt uns bitte eine E-Mail an hallo@mixed.de oder hüpft auf unseren Discord-Server.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
