Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Nvidia zeigt Instant NeRF: Die KI-Technik rendert auf Basis weniger Fotos innerhalb von Sekunden eine hochauflösende 3D-Szene.

Neural Radiance Fields (NeRFs) sind neuronale Netze, die eine 3D-Szene aus 2D-Bildern lernen und diese anschließend reproduzieren können. Die Technologie erzeugt fotorealistische Szenen und ist ein zentraler Bestandteil für den Einsatz von KI in der Computergrafik und Fotografie. Google zeigte etwa jüngst eine Art Street View 3D, das mit NeRFs ganze Straßenblöcke rendert.

Ein Hindernis beim NeRF-Einsatz waren bisher die langen Trainings- und Renderzeiten der neuronalen Netze. In den letzten Jahren fanden Forschende jedoch neue Wege, um die benötigte Zeit zu reduzieren. Google-Forschende zeigten etwa 2021 Echtzeit-Rendering von NeRFs. Anfang 2022 enthüllte Nvidia Instant-NGP, eine Methode, die das KI-Training stark beschleunigt.

Höhere Rendergeschwindigkeit ebnet NeRFs den Weg in den Praxiseinsatz

Im Rahmen der diesjährigen GTC stellt Nvidia nun Instant NeRF vor. Die Technologie ermöglicht das Training und Rendering einer hochauflösenden 3D-Szene in wenigen Sekunden. Im Vergleich zu anderen NeRF-Methoden sei Instant NeRF in einigen Fällen um bis zu 1000-mal schneller, so Nvidia.

Anzeige
Anzeige

Möglich wird die höhere Geschwindigkeit durch den in Nvidias Instant-NGP vorgestellten Rückgriff auf eine Kombination aus dem neuronalen Netz mit einer gelernter Hashtabelle von Voxel-Eckpunkten.

Das KI-Modell benötigt für das Training nur ein paar dutzend Fotos aus unterschiedlichen Blickwinkeln, inklusive Angaben zu den Kamerawinkeln, und lernt dann in wenigen Sekunden eine 3D-Repräsentation der Szene. Das Rendering der Szene selbst dauert nur mehr Millisekunden.

NeRFs sind die JPEG-Kompression für 3D

"Wenn herkömmliche 3D-Darstellungen wie Polygonnetze mit Vektorbildern vergleichbar sind, dann sind NeRFs wie Bitmap-Bilder: Sie erfassen, wie Licht von einem Objekt oder innerhalb einer Szene abstrahlt", so David Luebke, Vize-Präsident für Grafikforschung bei NVIDIA.

"In diesem Sinne könnte Instant NeRF für 3D so wichtig sein, wie es Digitalkameras und JPEG-Kompression für die 2D-Fotografie waren - eine enorme Steigerung der Geschwindigkeit, Einfachheit und Reichweite der Aufnahme und des Teilens von 3D."

Laut Nvidia könnte Instant NeRF für Avatare oder Szenen in virtuellen Welten, zur Erfassung von Videokonferenzteilnehmern und ihrer Umgebung in 3D oder zur Rekonstruktion von Szenen für digitale 3D-Karten verwendet werden. Letztere könnten dann für das Training von Robotern und selbstfahrenden Autos zum Einsatz kommen.

Empfehlung

Weitere Anwendungen sieht Nvidia in der Architektur und in der Unterhaltungsbranche, wo mit NeRFs digitale Darstellungen von realen Umgebungen erzeugt werden könnten, die anschließend von Entwickler:innen angepasst und ausgebaut werden.

Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Nvidia:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!