Metas mächtige neue MR-Schnittstelle: Erste Demos angekündigt

Metas mächtige neue MR-Schnittstelle: Erste Demos angekündigt

Auf der GDC nächste Woche demonstrieren VR-Studios zum ersten Mal, welche Möglichkeiten Metas neue MR-Kameraschnittstelle eröffnet.

Anzeige
Anzeige
FAKTEN

Vom 17. bis 25. März findet in San Francisco die Game Developers Conference (GDC), die weltgrößte Entiwcklerkonferenz, statt. Meta wird mit mehr als einem Dutzend Vorträgen und Veranstaltungen auf der Konferenz vertreten sein.

Auf einer Veranstaltung mit dem Titel Merge Realities, Multiply Wonder: Expert Guidance on Mixed Reality Development wird Meta in die Passthrough API einführen. Diese erlaubt die "Echtzeit-Nutzung maßgeschneiderter Computer Vision für den Einsatz in Spielen". Meta verspricht Praxisbeispiele von Entwicklern, die "unsere neueste Passthrough API bereits nutzen, um ihre Anwendungen auf die nächste Stufe zu heben."

In Aussicht gestellt wird zudem ein "exklusiver Einblick in einige der aufregenden kommenden Roadmap-Elemente, die die MR-Entwicklung revolutionieren werden."

Die Veranstaltung findet am 18. März 2025 statt. Wir hoffen, dass sie mit der Ankündigung einer allgemeinen Verfügbarkeit der neuen MR-Schnittstelle einhergeht.

Anzeige
Anzeige
KONTEXT

Was ist die Passthrough API?

Derzeit können Mixed-Reality-Apps nur auf abstrakte Daten der physischen Umgebung zugreifen. Dazu gehören ein grober 3D-Scan des Raumes sowie Quader, die einzelne Möbelstücke repräsentieren.

Mit der im September 2024 angekündigten Passthrough API werden Mixed-Reality-Apps zum ersten Mal Zugriff auf den Passthrough-Feed der Kameras erhalten. Damit werden Apps die physische Umgebung und einzelne Objekte mittels Computer Vision besser erkennen, analysieren und darauf reagieren können - eine wichtige Voraussetzung für fortgeschrittene Mixed Reality.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 3,50 € / Monat
logo

In einem bereits online gestellten Support-Artikel (zuerst entdeckt von Luna) erläutert Meta, auf welche Weise Apps vom Kamerazugriff profitieren können. Aus dem Englischen übersetzt:

  • Objekterkennung: Entwickler können Anwendungen erstellen, die bestimmte Objekte in ihrer realen Umgebung erkennen und nutzen. Zum Beispiel ein digitales Brettspiel, das physische Spielsteine oder Bretter enthält.
  • Standorterkennung: Entwickler können Erlebnisse schaffen, die unterschiedlich reagieren, je nachdem, wo Sie sich laut Kamerabild befinden. Zum Beispiel drinnen oder draußen, an einem berühmten Wahrzeichen oder in einem bestimmten Raum.
  • Andere Funktionen für maschinelles Lernen: Entwickler können benutzerdefinierte Modelle für maschinelles Lernen auf Daten aus dem Echtzeit-Kamerafeed anwenden. Dies könnte für Retexturierung/Schattierung, Spiele mit Teilnehmern, die keine Headsets tragen, Personen-/Tiererkennung oder eine beliebige Anzahl von benutzerdefinierten industriellen/trainingsbezogenen Anwendungsfällen verwendet werden.

Die Passthrough API wurde für Anfang 2025 angekündigt. Reality Labs-Chef Andrew Bosworth sagte vor einem Monat, dass dieser Zeitplan immer noch aktuell sei und einige Entwickler bereits Zugang zu der Schnittstelle hätten und damit experimentieren. Nächste Woche dürften wir demnach die Früchte dieser Experimente sehen.

Anzeige
Anzeige

Welche neuen Möglichkeiten erhofft ihr euch von der Passthrough API? Diskutiert mit uns auf Instagram oder Facebook oder teilt eure Meinung in den Kommentaren.

Für Feedback, Themenvorschläge oder andere Ideen schickt uns bitte eine E-Mail an hallo@mixed.de oder hüpft auf unseren Discord-Server.