Googles AR- und KI-Technologie bringt die Oper nach Hause

Googles AR- und KI-Technologie bringt die Oper nach Hause

In einem gemeinsamen Projekt der australischen Oper Queensland und Googles Kreativlabor trifft KI auf AR, um das Bühnenerlebnis in die eigenen vier Wände zu bringen.

Anzeige
Anzeige

Anfang 2018 starteten Googles Kreativlabor und die Oper Queensland ihren Versuch, jedermann einen Erste-Reihe-Sitz in einer Oper zu ermöglichen: und zwar im eigenen Zuhause.

Dafür wurden die Darbietungen der Opernsänger im ersten Schritt vollständig in 3D digitalisiert. Zum Einsatz kam Googles KI-gestütztes volumetrisches Aufnahmesystem "The Relightables", das erst kürzlich offiziell vorgestellt wurde.

___STEADY_PAYWALL___
In Googles Fotosphäre wurden die Opern-Darsteller volumetrisch aufgezeichnet. Bild: Google AI

In Googles Fotosphäre wurden die Operndarsteller volumetrisch aufgezeichnet. Bild: Google AI

In einer Fotosphäre wurden die Operndarsteller von 90 hochauflösenden Kameras und zahlreichen Tiefensensoren aus allen erdenklichen Blickwinkeln erfasst. Aus den vielen Einzelbildern erstellte ein Algorithmus anschließend ein animiertes 3D-Modell der Person.

Über Googles Smartphone-AR-Software kann diese digitale Person dann in die reale Umgebung projiziert werden - so kommt man zu einer Privatvorführung von Mozarts Zauberflöte im eigenen Wohnzimmer.

Aus einem Schauspieler wird ein 3D-Modell, das anschließend texturiert und flexibel ausgeleuchtet werden kann. Mit Smartphone-AR-Technik schafft er den Sprung ins eigene Wohnzimmer. Bild: Google Creative Lab

Aus einem Opernsänger wird zuerst ein 3D-Modell. Mit Smartphone-AR-Technik schafft er dann den Sprung ins eigene Wohnzimmer. Bild: Google Creative Lab

Volumetrischer Film: 450 Megabyte pro Sekunde

Eine technische Herausforderung war laut der Entwickler der hohe Datenaufwand: Schon 20 Sekunden des räumlichen Filmmaterials verursachten mehr als einen Terrabyte Daten, die weiterberechnet und komprimiert werden mussten.

Selbst nach der Komprimierung benötigte eine Sekunde volumetrische Oper noch immer rund fünf Megabyte. Drei Opernsänger, animiert mit 30 Bildern pro Sekunde, lagen bei etwa 450 Megabyte Daten pro Sekunde - also rund 4,5 Gigabyte alle zehn Sekunden, was in etwa der Datenmenge eines kompletten hochauflösenden 2D-Films entspricht.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 3,50 € / Monat
logo

Dieser enorme Datenaufwand dürfte seinen Teil dazu beitragen, dass der Prototyp der Augmented-Reality-Oper nicht veröffentlicht wird. Das Projekt sei als Storytelling-Experiment gestartet für eine neue Art von Erfahrung und um zu untersuchen, wie man Kunst mehr Menschen zugänglich machen kann. Das Fazit ist insgesamt positiv: Die Arbeit an AR-Formaten soll fortgeführt werden.

Quelle: Oper Queensland

Weiterlesen über XR-Kunst: