Begehbare Videos: Google-Forscher zeigen neue Lichtfeldtechnologie

Google-Forscher fanden eine Möglichkeit, 3D-Videos in guter Qualität aufzuzeichnen und wiederzugeben.

Google meldet einen Durchbruch in der Lichtfeldtechnologie. Die Forscher fanden eine Möglichkeit, Videos mit variabler Blickperspektive in guter Qualität aufzuzeichnen und wiederzugeben. KI-Technologie hilft dabei.

In volumetrischen Videos kann der Zuschauer seinen Kopf räumlich bewegen und eine Szene so aus verschiedenen Blickwinkeln betrachten. Mit besonders großen Lichtfeldkameras wäre es sogar möglich, sich einen oder mehrere Schritte in jede Richtung zu bewegen.

3D-Videos vereinen theoretische das Beste zweier Welten: Videoaufzeichnungen der realen Welt mit der räumlichen Bewegungsfreiheit digitaler Umgebungen.

Im Kontext der Virtual Reality könnte Lichtfeldtechnologie 180- und 360-Grad-Videos auf die nächste Stufe heben: Sie würden viel immersiver wirken und die Perspektive wäre nicht mehr fix, was es angenehmer machte, sich entsprechende Videos mit der VR-Brille anzusehen.

Lichtfeldtechnologie: Eine Herkulesaufgabe

Dass sich Lichtfeldtechnologie trotz jahrelanger Forschung noch nicht durchsetzen konnte, hat mehrere Gründe: Der Bau eines Lichtfeldkamerasystems ist teuer und der Aufnahmeprozess komplex, da meist mit Dutzenden Einzelkameras gleichzeitig gefilmt wird.

Noch schwieriger ist die Berechnung eines Lichtfelds: Hierfür müssen die Einzelaufnahmen mittels Algorithmen so zusammengeführt werden, dass bei Kopfbewegungen ein fließender Raumeindruck entsteht.

Das ist ein komplexer Rechenprozess, bei dem Unmengen an Daten anfallen. Die daraus entstehenden Videos sind in der Regel so groß, dass man sie auf keinem handelsüblichen Gerät abspielen, geschweige denn über das Internet streamen kann.

Das hoch gehandelte Lichtfeldunternehmen Lytro scheiterte an dieser Aufgabe und gab im Frühjahr 2018 die Schließung bekannt. Trotz vieler Jahre Forschung und mehr als 200 Millionen US-Dollar Startkapital brachte Lytro kein 3D-Video zuwege, dass man auf einer handelsüblichen VR-Brille ansehen konnte.

Im ersten Quartal 2018 sollen VR-Nutzer zum ersten Mal ein räumliches Video des Unternehmens zu sehen bekommen.

Lytros massive Immerge-Lichtfeldkamera, die nie auf den Markt kam. | Bild: Lytro

Google will 3D-Videos massenmarkttauglich machen

Einige Lytro-Angestellten wechselten daraufhin zu Google und forschten dort an der Technologie weiter. Das Unternehmen entwickelte eine eigene Lichtfeldkamera und präsentierte 2018 beeindruckende 3D-Fotos in der kostenlosen Steam-App Welcome to Lightfields, die auf Basis herkömmlicher PC-VR-Brillen (Vergleich) läuft. Im August 2018 stellte Google die Lichtfeldtechnologie im Rahmen der Siggraph-Konferenz offiziell vor.

Damals hieß es, dass das Unternehmen begonnen habe, an einer Lichtfeldkamera für Bewegtaufnahmen zu arbeiten. Die Früchte dieser Arbeit präsentiert Google nun im Netz: eine einsatzfertige Lösung bestehend aus Hard- und Software, die volumetrische Videos aufzeichnet und so effizient komprimiert, dass sie über eine WLAN-Verbindung gestreamt werden können.

Die Forschung soll auf der Mitte Juli stattfindenden Siggraph-Konferenz offiziell vorgestellt werden, die Forschungsarbeit und erste Beispiele gibt es bereits zu sehen.

“Wir arbeiten daran, Lichtfeldtechnologie praktikabel zu machen. Fotos und Video spielen eine wichtige Rolle in unserem alltäglichen Umgang mit mobilen Geräten und wir hoffen, dass Lichtfeldfotos und -videos eines Tages eine ähnlich wichtige Rollen für AR- und VR-Plattformen spielen werden”, sagt der leitende Forscher Michael Broxton anlässlich der Ankündigung.

Eine KI berechnet die 3D-Szene

Googles neue Lichtfeldkamera hat einen Durchmesser von 92 Zentimeter und hat in einer halbkugelförmigen Anordnung 46 relativ günstige Action-Kameras verbaut.

Sie zeichnet immersive Videos mit einem Bewegungsspielraum von 80 Zentimetern auf. Die 3D-Videos werden mit 30 Bildern pro Sekunde abgespielt bei einem Sichtfeld von mehr als 220 Grad. Das Kamerasystem kann laut Google selbst Lichtspiele auf reflektierenden Oberflächen einfangen.

Für die Synthese der Einzelaufnahmen zu einem zusammenhängenden Lichtfeld kommt ein spezieller KI-Algorithmus namens Deepview zum Einsatz. Trainiert wurde das künstliche neuronale Netz mit Videomaterial, das mit einer kleineren und weniger komplexen Variante der Kamera aufgenommen wurde.

Die 3D-Szene besteht nach der KI-Bearbeitung aus zwiebelähnlichen Schichten (siehe linkes Foto, jede zehnte Schicht ist blau markiert), die zwecks Kompression zu einheitlichen Gruppen zusammengefasst und so in ihrer Zahl und Komplexität reduziert werden (siehe rechtes Bild) | Bild: Broxton et al. / Google

Die KI berechnet aus den Einzelaufnahmen ein 3D-Bild, das aus lauter konzentrisch angeordneten Schichten besteht (siehe Abbildungen oben). Um die Komplexität und Datenmenge des Videos zu minimieren, werden die Schichten in ihrer Zahl reduziert und die Texturen komprimiert, ohne dass die Bildqualität signifikant leidet.

Diese Schritte durchläuft das Videomaterial. | Bild: Broxton et al. / Google

Volumetrische Videos für Oculus Quest und Co.

Das Ergebnis ist ein volumetrisches Video, das via Webbrowser gestreamt und auf einer mobilen VR- oder AR-Brille gerendert werden kann. Ein Datendurchsatz von einem Gigabit pro Sekunde soll ausreichen. Google hofft, dass 3D-Videos damit schon bald reif für den Massenmarkt werden. Wann und wie die Technologie vermarktet werden soll, ist nicht bekannt.

Das Unternehmen sieht noch viel Verbesserungspotenzial. Die Technik hat hier und da noch mit Artefakten zu kämpfen, etwa bei bewegten Objekten oder wenn ein Gegenstand zu nahe an der Kamera steht. Das Team will außerdem die Konversion des 3D-Bilds in einzelne Schichten verbessern, was das Streaming auf autarke VR-Brillen wie Oculus Quest weiter vereinfachen soll.

Live-Streaming in 3D?

Die Forscher denken zudem darüber nach, eine 360-Grad-Lichtfeldkamera zu bauen, indem sie eine Kopie des jetzigen Geräts anfertigen und die beiden Systeme zu einer Kugel zusammenfügen. Die KI soll für diese Aufgabe bereits gerüstet sein.

Google will die Technologie außerdem für Live-Events optimieren. Das immersive Live-Streaming von Konzerten oder Sportereignissen könnte damit auf eine neue Stufe gehoben werden. Der VR-Streamingdienst NextVR plante eine ähnliche Funktion, wurde jedoch von Apple aufgekauft und hat seine Dienste seither eingestellt.

Wer sich Beispiele für 3D-Videos ansehen möchte, findet sie auf der Ankündigungsseite. Für die VR-Brille wurden die volumetrischen Videos leider noch nicht aufbereitet.

Wer eine Playstation VR besitzt, kann sich gleich zwei gelungene 3D-Video-Experimente ansehen: Joshua Bell VR und Tom Grennan VR ansehen. Beide VR-Erfahrungen sind kostenlos.