Apple Vision Pro bringt Facetime-Calls in Mixed Reality

Apple Vision Pro bringt Facetime-Calls in Mixed Reality

Apples VR-Brille Vision Pro ermöglicht räumliche Facetime-Calls - mit eingescannten Avataren, die per KI Aussehen und Körpersprache des Brillenträgers nachahmen.  

Bei der Ankündigung seiner neuen VR/AR-Brille Apple Vision Pro zeigte Apple nicht nur Anwendungen zur Unterhaltung und Produktivität, sondern auch zahlreiche soziale Apps. Eine wichtige Anwendung dürften Facetime-Anrufe werden - ähnlich wie im bisherigen Apple-Ökysystem.

Für die Vision Pro hat Apple spezielle räumliche Avatare entwickelt. Tragen Nutzende in Facetime-Calls die Apple-Brille, erscheinen sie anderen Gesprächspartner:innen als räumlicher, animierter Avatar. Vorher scannen sie ihr Gesicht und ihre Hände ein, damit diese "Persona" überzeugend ihr Aussehen, ihre Mimik und ihre Gestik nachahmt.

___STEADY_PAYWALL___

Facetime in Mixed Reality

Mithilfe dieses "Neural Scans" ermittelt und berechnet ein KI-Algorithmus während eines Meetings die charakteristischen Bewegungen des "Persona"-Avatars. So sollen Gesprächspartner:innen den Eindruck bekommen, sich auf relativ authentische, natürliche Weise mit dem 3D-Avatar zu unterhalten.

Klassische Facetime-Nutzende erscheinen in einem Call lebensgroß auf im Raum schwebenden Chat-Fenstern. | Video: Apple

Für Nutzende des Apple-Headsets wiederum erscheinen andere Teilnehmende auf Kacheln, die um sie herum im Zimmer schweben. Die Apple Vision Pro ist schließlich eine Mixed-Reality-Brille mit Video-Durchsicht. Sie vermischt Computergrafik und die von Kameras eingefangene Außenwelt auf ihrem eingebauten Bildschirm.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 3,50 € / Monat
logo

Auch bei den Video-Kacheln hat sich Apple Gedanken um ein möglichst natürliches Gesprächsklima gemacht: Sie sind lebensgroß, was eher an eine natürliche Unterhaltung im Zimmer erinnert, als etwa auf einen kleineren Bildschirm zu schauen. 3D-Audio sorgt währenddessen dafür, dass der Sound von der Stelle kommt, an der die Teilnehmer:innen positioniert sind und sprechen.

Passend dazu besitzt das Headset übrigens integrierte Ohrhörer mit seitlich abstrahlenden Schlitzen, die räumlichen Sound besonders authentisch klingen lassen sollen. Damit der Raumklang passend auf den aktuellen Raum abgestimmt wird, sollen sogar die zahlreichen Sensoren im Headset zum Einsatz kommen. Sie erfassen die Beschaffenheit des Raumes, sodass die Surround-Abmischung entsprechend darauf abgestimmt wird.

Quellen: Apple WWDC 2023