Google: Neue Grafik-KI rendert fotorealistische 360-Grad-Szenen

Google: Neue Grafik-KI rendert fotorealistische 360-Grad-Szenen

Googles neue Grafik-KI rendert fotorealistische Szenen aus 360-Grad-Aufnahmen und ermöglicht den Einsatz von NeRFs in Alltagsumgebungen.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Neural Radiance Fields (NeRFs) sind künstliche neuronale Netze, die aus einer Reihe von Bildern eine volumetrische Repräsentation eines Objektes lernen und anschließend dieses Objekt auch aus neuen Blickwinkeln darstellen können. Für die fotorealistischen Renderings setzen NeRFs auf eine dem Raytracing ähnliche Technik.

Die Technologie hat in den letzten Jahren große Fortschritte gemacht: Sie erzeugt beeindruckende Szenen, rendert immer schneller und lässt sich schneller trainieren. Forschende von Nvidia sehen Künstliche Intelligenz daher zunehmend als echte Alternative zu herkömmlichen Methoden der Computergrafik.

NeRFs haben Probleme mit komplexen Szenen

Doch die bisher beeindruckendsten Ergebnisse stammen von Foto-Modellen, die ohne Hintergrund dargestellt werden können oder echten Objekten, die in einem begrenzten Raum aus einem relativ stabilen Blickwinkel gezeigt werden.

Bei „unbegrenzten“ Szenen, bei denen die Kamera in jede beliebige Richtung zeigen und der Inhalt in beliebiger Entfernung liegen kann – also vollständigen 3D-Szenen vergleichbar mit einem Computerspiel – versagen NeRFs bisher.

Am Rand der Videos ist der unscharfe Hintergrund zu erkennen. | Video: Google

In diesen Fällen erzeugen die KI-Systeme verschwommene und niedrig aufgelöste Renderings und weisen Bildartefakte auf, da sie die Skalierung von nahen und entfernten Objekten nicht korrekt lernen.

Empfohlener Beitrag

Junge Frau trägt Vive Flow VR-Brille
HTC Vive Flow: Das sagen erste Tester der VR-Brille
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Für die Darstellung von Echtwelt-Objekten, die vor natürlichen Hintergründen wie einem Garten stehen, eignen sich NeRFs daher nur, wenn die Kamera sich nicht um das Objekt bewegt, sondern stetig in die gleiche Richtung zeigt.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Mip-NeRF 360 verbessert Darstellung von Echtwelt-Aufnahmen

Google-Forschende zeigen nun mip-NeRF 360, ein KI-System, das 360-Grad-Renderings von Echtwelt-Objekten mit komplexen Hintergründen ermöglicht. Die Forschenden verbesserten dafür die Trainingsmethode, wandten etwa eine Grob-zu-Fein-Strategie an, bei der grobe und feine Strahlenintervalle für das Sampling der Szene genutzt werden.

Das Ergebnis sind fotorealistische 360-Grad-Aufnahmen, bei denen auch feinere Details wie Gras oder Blätter im Hintergrund noch erkennbar sind. Mip-NeRF 360 erzeugt außerdem detaillierte Tiefeninformationen für jede Szene.

Video: Google

Die Grenzen des Systems liegen laut Google in sehr feinen Details. Die Qualität nehme zudem ab, wenn die Kamera zu weit von der Mitte der Szene entfernt werde und die Trainingszeit liege wie bei vielen anderen NeRF-Architekturen bei mehreren Stunden.

Weitere Informationen gibt es auf der Projektseite von mip-NeRF 360.

Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.

Weiterlesen über Künstliche Intelligenz:

Quellen: Arxiv