Googles KI-Abteilung stellt ein neues Verfahren vor, mit dem Menschen digitalisiert und neu ausgeleuchtet in virtuellen Welten platziert werden können.

Die KI-Forscher verstecken die Innovation ihrer Arbeit schon im Namen ihres Forschungsprojekts: “The Relightables” heißt es, “die Ausleuchtbaren”. Es dreht sich um 3D-Modelle volumetrisch gefilmter Menschen, die nach der Aufnahme neu und flexibel be- und ausgeleuchtet werden können.

Die nachträgliche Ausleuchtung klingt zunächst nach einem grafischen Detail, ist aber grundlegend, wenn sich die 3D-Personen glaubhaft in eine digitale Umgebung einfügen sollen. Dafür werden die Darsteller zunächst in einer Fotosphäre mit hochauflösenden Kameras und selbstentwickelten Tiefensensoren von allen Seiten aufgezeichnet.

Aus einem Schauspieler wird ein 3D-Modell, das anschließend texturiert und flexibel ausgeleuchtet werden kann. Normalerweise sind die Lichteffekte fix im 3D-Modell integriert. Bild: Google AI

Aus einem Schauspieler wird ein 3D-Modell, das anschließend texturiert und flexibel ausgeleuchtet werden kann. Normalerweise sind die Lichteffekte fix im 3D-Modell integriert. Bild: Google AI

Ausgeleuchtet werden die Schauspieler in der Fotosphäre von 331 LEDs mit einer speziellen Farbmischung. Die Lichtreflexionen dieser LEDs können bei der Verarbeitung der Aufnahmen wieder aus dem entstandenen 3D-Modell herausgerechnet werden, sodass das dann lichtfreie Modell anschließend passend zu einer neuen Lichtsituation in einer digitalen Umgebung neu beleuchtet werden kann.

Mit Deep Learning zum lichtneutralen 3D-Modell

Laut Google werden beim Aufnahmeprozess klassische Computer-Vision-Verfahren mit Deep-Learning-Methoden kombiniert. Die Besonderheit ist die Trennung von Geometrie und Licht. Konkret half die KI-Methode dabei, den Schauspieler vom Hintergrund zu lösen als Alternative zum klassischen Greenscreen-Verfahren.

Laut den Google-Forschern steigert ihr Rendersystem den Realitätsgrad volumetrisch gefilmter Menschen in digitalen Umgebungen “signifikant”. Interessant sind solche volumetrisch eingefangenen Darbietungen für VR- und AR-Anwendungen: Mit einer entsprechenden AR- oder VR-Brille auf dem Kopf oder einem Smartphone in der Hand kann man sich um die Figuren herumbewegen und sie aus allen Blickwinkeln betrachten.

Mehr Informationen gibt es auf der offiziellen Projektseite und im wissenschaftlichen Papier.

Weiterlesen über volumetrische Videos:

steady2

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Radioaktive Daten und VR Auferstehung | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.