Google AI stellt neues Aufnahmesystem für digitale 3D-Menschen vor
Googles KI-Abteilung stellt ein neues Verfahren vor, mit dem Menschen digitalisiert und neu ausgeleuchtet in virtuellen Welten platziert werden können.
Die KI-Forscher verstecken die Innovation ihrer Arbeit schon im Namen ihres Forschungsprojekts: "The Relightables" heißt es, "die Ausleuchtbaren". Es dreht sich um 3D-Modelle volumetrisch gefilmter Menschen, die nach der Aufnahme neu und flexibel be- und ausgeleuchtet werden können.
Die nachträgliche Ausleuchtung klingt zunächst nach einem grafischen Detail, ist aber grundlegend, wenn sich die 3D-Personen glaubhaft in eine digitale Umgebung einfügen sollen. Dafür werden die Darsteller zunächst in einer Fotosphäre mit hochauflösenden Kameras und selbstentwickelten Tiefensensoren von allen Seiten aufgezeichnet.
___STEADY_PAYWALL___
Aus einem Schauspieler wird ein 3D-Modell, das anschließend texturiert und flexibel ausgeleuchtet werden kann. Normalerweise sind die Lichteffekte fix im 3D-Modell integriert. Bild: Google AI
Ausgeleuchtet werden die Schauspieler in der Fotosphäre von 331 LEDs mit einer speziellen Farbmischung. Die Lichtreflexionen dieser LEDs können bei der Verarbeitung der Aufnahmen wieder aus dem entstandenen 3D-Modell herausgerechnet werden, sodass das dann lichtfreie Modell anschließend passend zu einer neuen Lichtsituation in einer digitalen Umgebung neu beleuchtet werden kann.
Mit Deep Learning zum lichtneutralen 3D-Modell
Laut Google werden beim Aufnahmeprozess klassische Computer-Vision-Verfahren mit Deep-Learning-Methoden kombiniert. Die Besonderheit ist die Trennung von Geometrie und Licht. Konkret half die KI-Methode dabei, den Schauspieler vom Hintergrund zu lösen als Alternative zum klassischen Greenscreen-Verfahren.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Laut den Google-Forschern steigert ihr Rendersystem den Realitätsgrad volumetrisch gefilmter Menschen in digitalen Umgebungen "signifikant". Interessant sind solche volumetrisch eingefangenen Darbietungen für VR- und AR-Anwendungen: Mit einer entsprechenden AR- oder VR-Brille auf dem Kopf oder einem Smartphone in der Hand kann man sich um die Figuren herumbewegen und sie aus allen Blickwinkeln betrachten.
Mehr Informationen gibt es auf der offiziellen Projektseite und im wissenschaftlichen Papier.
Weiterlesen über volumetrische Videos:
- In Babelsberg gibt es jetzt ein Aufnahmestudio für begehbare Filme
- Britannia VR-Erfahrung kommt mit volumetrisch gefilmten Schauspielern
- So sieht Microsofts Hologramm-Aufnahmestudio von innen aus
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
