Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Künstliche Intelligenz kann viele Bereiche der Computergrafik revolutionieren. Eine neue Google-KI beweist das: Sie berechnet die vielversprechenden Neural Radiance Fields in Echtzeit.

Im Sommer 2020 stellten Google-Forscher „Neural Radiance Fields“ (NERF) vor, einen KI-Prozess, der 3D-Tiefendaten aus 2D-Bildern wie Fotos extrahieren kann. NERF kann so aus mehreren Fotos, die aus unterschiedlichen Blickwinkeln geschossen werden, ein texturiertes 3D-Modell erstellen.

Für die beeindruckenden Ergebnisse berechnet NERF für jeden Blickwinkel zahlreiche Lichtstrahlen, die die 3D-Szene abtasten. Ein einziger Lichtstrahl liefert dabei für jeden einzelnen Punkt im Raum Informationen wie Farbe oder Transparenz - egal ob dieser Punkt von einem Objekt eingenommen wird oder leer ist. Die zahlreichen Informationen werden anschließend zu einer finalen sichtbaren Textur am Endpunkt des Lichtstrahls zusammengefasst.

Dieser Prozess ist extrem rechenintensiv: NERF benötigt 100 Teraflops, um ein einziges Bild mit 800 x 800 Pixeln zu berechnen. Im besten Fall generiert NERF so auf einer Nvidia RTX 2080 ein Bild in zehn Sekunden. Das ist ein Machbarkeitsnachweis, aber viel zu langsam für praktische Anwendungen.

Anzeige
Anzeige

NERF, SNeRG & Lidar

Jetzt stellt Google eine neue Methode vor, die zu NERF visuell gleichwertige Ergebnisse auf modernen Grafikkarten in Echtzeit mit mehr als 30 Bildern pro Sekunde rendert.

Die “Sparse Neural Radiance Grid” (SNeRG) genannte Lösung ist schneller, da sie die 3D-Szene in niedrig aufgelösten Voxelblöcken speichert. SNeRG tastet anschließend lediglich vom Objekt eingenommene Voxel mit Lichtstrahlen ab. Das reduziert die Rechenarbeit massiv, da nicht mehr dutzende oder hunderte Punkte pro Lichtstrahl berechnet werden müssen.

Die durch die Lichtstrahlen gesammelten Farbinformationen und andere Merkmale werden anschließend in einem kompakten 3D-Texturatlas gespeichert. Alle notwendigen Informationen der 3D-Szene sind so im Netz gespeichert.

Für die Echtzeitdarstellung berechnet ein zweites neuronales Netz Transparenz und Oberflächenglanz (Specularity). Diese werden anschließend mit den im Texturatlas gespeicherten Farben kombiniert und die fertige Szene entsteht.

Laut Google ist SNeRG tausendmal schneller als NERF bei vergleichbarer Qualität. In Tests lief der Prozess auf einem MacBook Pro mit knapp 65 Bildern pro Sekunde. Die Forscher hoffen, dass SNeRGs zur Akzeptanz der KI-Szenendarstellung in der Bildverarbeitung und bei Grafikanwendungen beitragen.

Empfehlung

Dort können mit dem KI-Verfahren detaillierte 3D-Modelle aus Fotos generiert oder in Echtzeit gerendert werden. Weitere Verbesserungen vorausgesetzt, könnten Neural Radiance Fields in bestimmten Anwendungsfällen Technologien wie Lidar oder Laserscanning ersetzen.

Einige Echtzeit-Demos gibt es auf Github.

Titelbild: Google | Via: Arxiv

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!