In einem gemeinsamen Projekt der australischen Oper Queensland und Googles Kreativlabor trifft KI auf AR, um das Bühnenerlebnis in die eigenen vier Wände zu bringen.

Anfang 2018 starteten Googles Kreativlabor und die Oper Queensland ihren Versuch, jedermann einen Erste-Reihe-Sitz in einer Oper zu ermöglichen: und zwar im eigenen Zuhause.

Dafür wurden die Darbietungen der Opernsänger im ersten Schritt vollständig in 3D digitalisiert. Zum Einsatz kam Googles KI-gestütztes volumetrisches Aufnahmesystem “The Relightables”, das erst kürzlich offiziell vorgestellt wurde.

In Googles Fotosphäre wurden die Opern-Darsteller volumetrisch aufgezeichnet. Bild: Google AI

In Googles Fotosphäre wurden die Operndarsteller volumetrisch aufgezeichnet. Bild: Google AI

In einer Fotosphäre wurden die Operndarsteller von 90 hochauflösenden Kameras und zahlreichen Tiefensensoren aus allen erdenklichen Blickwinkeln erfasst. Aus den vielen Einzelbildern erstellte ein Algorithmus anschließend ein animiertes 3D-Modell der Person.

Über Googles Smartphone-AR-Software kann diese digitale Person dann in die reale Umgebung projiziert werden – so kommt man zu einer Privatvorführung von Mozarts Zauberflöte im eigenen Wohnzimmer.

Aus einem Schauspieler wird ein 3D-Modell, das anschließend texturiert und flexibel ausgeleuchtet werden kann. Mit Smartphone-AR-Technik schafft er den Sprung ins eigene Wohnzimmer. Bild: Google Creative Lab

Aus einem Opernsänger wird zuerst ein 3D-Modell. Mit Smartphone-AR-Technik schafft er dann den Sprung ins eigene Wohnzimmer. Bild: Google Creative Lab

Volumetrischer Film: 450 Megabyte pro Sekunde

Eine technische Herausforderung war laut der Entwickler der hohe Datenaufwand: Schon 20 Sekunden des räumlichen Filmmaterials verursachten mehr als einen Terrabyte Daten, die weiterberechnet und komprimiert werden mussten.

Selbst nach der Komprimierung benötigte eine Sekunde volumetrische Oper noch immer rund fünf Megabyte. Drei Opernsänger, animiert mit 30 Bildern pro Sekunde, lagen bei etwa 450 Megabyte Daten pro Sekunde – also rund 4,5 Gigabyte alle zehn Sekunden, was in etwa der Datenmenge eines kompletten hochauflösenden 2D-Films entspricht.

Dieser enorme Datenaufwand dürfte seinen Teil dazu beitragen, dass der Prototyp der Augmented-Reality-Oper nicht veröffentlicht wird. Das Projekt sei als Storytelling-Experiment gestartet für eine neue Art von Erfahrung und um zu untersuchen, wie man Kunst mehr Menschen zugänglich machen kann. Das Fazit ist insgesamt positiv: Die Arbeit an AR-Formaten soll fortgeführt werden.

Quelle: Oper Queensland

Weiterlesen über XR-Kunst:

steady2

MIXEDCAST #171: Das Carmack-Drama, Stormland und Magic Leak | Alle Folgen


Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.