Nvidia stellt neue KI-Grafiktechnologien vor

Nvidia stellt neue KI-Grafiktechnologien vor

Auf der wissenschaftlichen Tech-Konferenz SIGGRAPH 2021 gab Nvidia einen Einblick in neue KI-Technik für Computergrafik. KI soll zukünftig nahezu fotorealistische Echtzeit-Beleuchtung und Texturen generieren.

Neben zahlreichen bekannten KI-Projekten wie StyleGAN, GauGAN oder GANCraft zeigte Nvidia auf der Siggraph 2021 zwei besonders beeindruckende Forschungsergebnisse: Real-time Neural Radiance Caching für Path Tracing reduziert die Hardwareanforderungen an dynamische globale Beleuchtung (Global Illumination) durch Machine Learning. NeRF-Tex ermöglicht realistische Texturen etwa von Fell mittels sogenanter Neural Radiance Fields.

Neural Radiance Caching (NRC) kombiniert die in RTX-Grafikkarten verbaute Hardware zur KI-Beschleunigung (Tensor-Kerne) mit der Raytracing-Hardware (RT-Kerne), um ein KI-gestütztes Beleuchtungssystem für Global Illumination zu schaffen, das mit allen Arten von Materialien und Texturen funktioniert. Dafür lernt NRC, während des Rendervorgangs einer Szene die Wege und Abstrahleffekte von Path-Traced Lichtstrahlen in Echtzeit vorherzusagen.

Neural Radiance Caching erzeugt ein Bild, das deutlich näher an der voll beleuchteten Referenz liegt. Durch einen Denoiser kann die Qualität des Endergebnisses noch weiter verbessert werden.  | Bild: Nvidia

So kann NRC schon nach der ersten Reflexion eines Lichtstrahls von einem Objekt rudimentäre Reflexionen oder Farbgebungen vorhersagen. Auf einer Nvidia RTX 3090 Grafikkarte kann NRC über eine Milliarde globale Beleuchtungsabfragen pro Sekunde liefern.

Mit einem Deep Learning Denoiser ist die von NRC erzeugte Szene kaum noch von der Referenz zu unterscheiden. | Bild: Nvidia

In der Praxis produziert NRC so ein Bild, das den Stil und die Details eines vollständig per Raytracing gerenderten Bildes erhält und in Kombination mit Nvidias modernen Beleuchtungsalgorithmus ReSTIR die Rendering-Effizienz von Global Illumination laut Nvidia bis um den Faktor 100 verbessert.

NeRF-Tex zeigt neuronale Plüsch-Ente

Die zweite beeindruckende KI-basierte Grafiktechnologie ist in Zusammenarbeit mit Forschern der ETH Zürich und Disney Research entstanden und trägt den Namen Neural Reflectance Field Textures (NeRF-Tex). Die Technologie ist inspiriert von Fortschritten in der Darstellung realer und virtueller Szenen mit neuronalen Netzen. Sie soll die klassische grafische Modellierung komplexer Materialien wie Fell, Gras oder Stoff mit KI-Technologie vereinfachen.

Die NeRF-Textur kann über ein Mesh gelegt werden und schafft so in diesem Fall effektiv eine volumetrische Fellschicht über der Ente. | Bild: Nvidia

NeRF-Tex nutzt ein neuronales Netzwerk, um kleine Stücke solcher unscharfer Geometrie darzustellen. Ein Künstler kann dann ein klassisches Mesh erstellen und die NeRF-Textur über dessen Oberfläche legen. Dadurch entsteht ein volumetrische Schicht mit der gewünschte Textur. Ein 3D-Modell einer Ente erhält so etwa ein flauschiges Fell.

NeRF-Tex kann neben Fell auch Gras oder fluffige Teppiche generieren. | Bild: Nvidia

Anders als klassische Texturen enthält eine NeRF-Textur eine Klasse mit mehreren volumetrischen Erscheinungen. Eine einzelne NeRF-Textur kann so etwa helle, dunkle, kurze oder lange Fasern oder Fell darstellen. Das neuronale Netz ist außerdem darauf trainiert, Aliasing-Artefakte zu verhindern, die bei klassischen Rendering-Methoden auftreten und dann rechenintensiv geglättet werden müssen für ein ruhiges Bild.

Der Einsatz solcher KI-basierter Methoden für die Materialmodellierung könnte in Zukunft ähnlich fotorealistische Ergebnisse für digitale Produktionen oder Videospiele ermöglichen, wie es bereits GANs etwa bei der Generierung von Porträtfotos gelingt.

Via: NRC Paper, NeRFTex Paper

Weiterlesen über Künstliche Intelligenz: