Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Mit RawNeRF stellt Google ein neues Werkzeug für die Bildsynthese vor, das aus dunklen 2D-Fotos gut beleuchtete 3D-Szenen generieren kann.

Im Sommer 2020 stellte ein Forschungsteam bei Google erstmals „Neural Radiance Fields“ (NeRF) vor: Ein KI-System erkennt in einem Bild, an welchen Stellen Lichtstrahlen enden. Davon ausgehend, kann es aus mehreren Fotos derselben 2D-Szene automatisiert eine 3D-Szene generieren.

In den letzten zwei Jahren zeigten Google-Teams regelmäßig neue Anwendungsszenarien für NeRFs, etwa für Google Maps Immersive View oder um eine Art Street View 3D anhand von Straßenbildern zu rendern.

RawNeRF bringt Licht ins Dunkle

Mit RawNeRF stellt das Forschungsteam rund um KI-Forscher Ben Mildenhall jetzt ein NeRF vor, das mit RAW-Kameradaten trainiert werden kann. Diese Bilddaten enthalten den vollen Dynamikbereich einer Szene.

Anzeige
Anzeige

Laut des Forschungsteams kann RawNERF dank des RAW-Daten-Trainings "Szenen aus extrem verrauschten Bildern rekonstruieren, die im Halbdunkel aufgenommen wurden." Zudem können nachträglich der Kamerastandpunkt, der Fokus, die Belichtung und das Tonemapping geändert werden.

"Durch das Training direkt auf Rohdaten wird RawNeRF zu einem Multibild-Denoiser, der Informationen aus Dutzenden oder Hunderten von Eingangsbildern kombinieren kann", schreibt das Team.

Herunterladen könnt ihr RawNeRF bei Github. Dort findet ihr auch Mip-NeRF 360, das fotorealistische 3D-Szenen aus 360-Grad-Aufnahmen rendern kann, sowie Ref-NeRF.

Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema. Ab Minute 50 sprechen wir mit Thomas Müller von Nvidia über die Funktion und das Potenzial von NeRFs.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • NeRF genannte KI-Modelle verstehen das Licht in 2D-Bildern und können daraus 3D-Modelle generieren.
  • Ein mit RAW-Bilddaten trainiertes NeRF-Modell kann zusätzlich dunkle Szenen nachträglich ausleuchten.
  • Ihr könnt RawNeRF bei Github herunterladen.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!