Googles AR- und KI-Technologie bringt die Oper nach Hause
In einem gemeinsamen Projekt der australischen Oper Queensland und Googles Kreativlabor trifft KI auf AR, um das Bühnenerlebnis in die eigenen vier Wände zu bringen.
Anfang 2018 starteten Googles Kreativlabor und die Oper Queensland ihren Versuch, jedermann einen Erste-Reihe-Sitz in einer Oper zu ermöglichen: und zwar im eigenen Zuhause.
Dafür wurden die Darbietungen der Opernsänger im ersten Schritt vollständig in 3D digitalisiert. Zum Einsatz kam Googles KI-gestütztes volumetrisches Aufnahmesystem "The Relightables", das erst kürzlich offiziell vorgestellt wurde.
___STEADY_PAYWALL___
In Googles Fotosphäre wurden die Operndarsteller volumetrisch aufgezeichnet. Bild: Google AI
In einer Fotosphäre wurden die Operndarsteller von 90 hochauflösenden Kameras und zahlreichen Tiefensensoren aus allen erdenklichen Blickwinkeln erfasst. Aus den vielen Einzelbildern erstellte ein Algorithmus anschließend ein animiertes 3D-Modell der Person.
Über Googles Smartphone-AR-Software kann diese digitale Person dann in die reale Umgebung projiziert werden - so kommt man zu einer Privatvorführung von Mozarts Zauberflöte im eigenen Wohnzimmer.
Aus einem Opernsänger wird zuerst ein 3D-Modell. Mit Smartphone-AR-Technik schafft er dann den Sprung ins eigene Wohnzimmer. Bild: Google Creative Lab
Volumetrischer Film: 450 Megabyte pro Sekunde
Eine technische Herausforderung war laut der Entwickler der hohe Datenaufwand: Schon 20 Sekunden des räumlichen Filmmaterials verursachten mehr als einen Terrabyte Daten, die weiterberechnet und komprimiert werden mussten.
Selbst nach der Komprimierung benötigte eine Sekunde volumetrische Oper noch immer rund fünf Megabyte. Drei Opernsänger, animiert mit 30 Bildern pro Sekunde, lagen bei etwa 450 Megabyte Daten pro Sekunde - also rund 4,5 Gigabyte alle zehn Sekunden, was in etwa der Datenmenge eines kompletten hochauflösenden 2D-Films entspricht.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Dieser enorme Datenaufwand dürfte seinen Teil dazu beitragen, dass der Prototyp der Augmented-Reality-Oper nicht veröffentlicht wird. Das Projekt sei als Storytelling-Experiment gestartet für eine neue Art von Erfahrung und um zu untersuchen, wie man Kunst mehr Menschen zugänglich machen kann. Das Fazit ist insgesamt positiv: Die Arbeit an AR-Formaten soll fortgeführt werden.
Quelle: Oper Queensland
Weiterlesen über XR-Kunst:
- VR und Kunst: Die zehn besten Apps für Kunstliebhaber
- Künstliche Intelligenz komponiert Melodien zu Songtexten
- Apple startet internationale Augmented-Reality-Ausstellung
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
