Forschende aus den USA zeigen, dass Computer Vision in Infrarot aufgezeichnete Bilder glaubhaft in Farbe darstellen kann. Menschen könnten mit der Technologie in der Dunkelheit farbig sehen.
Einige Nachtsichtsysteme tasten dunkle Umgebungen mit für das menschliche Auge nicht sichtbarem Infrarotlicht ab. Diese Aufnahmen gibt das System dann monochromatisch als grüne Videobilder aus. Mithilfe einer KI-Software könnten solche Infrarotlichtaufnahmen zukünftig farbig dargestellt werden.
KI-System lernt Farben
Die grundlegende These des US-Forschungsteams an der University of California Irvine: Jedes Pigment und jeder Farbstoff eines Objekts reflektiert neben sichtbaren Wellenlängen auch Infrarotwellenlängen. Ein KI-System könnte diese Überschneidung lernen und Bilder von einem Farbmodus in den anderen übersetzen.
Das Team druckte für die eigene Studie zunächst rund 200 Bilder von menschlichen Gesichtern in Farbe (CMYK) aus, die sie nacheinander mit verschiedenen Wellenlängen im IR-Spektrum und im sichtbaren Bereich fotografierten (siehe Titelbild). Dabei erfassten sie die Intensität der Reflexion.
Mit 140 der Fotos trainierten die Forschenden dann ein Convolutional Neural Network (CNN) darauf, Unterschiede und Gemeinsamkeiten zwischen den Infrarotlichtaufnahmen und den herkömmlich sichtbaren Bildern zu erkennen.
Das neuronale Netz sollte dafür im Falle von UNet-GAN anhand der IR-Reflexionswerte die sichtbaren Reflexionswerte vorhersagen - zunächst völlig zufällig. Kontrolliert von einem Diskriminator, der die Vorhersage mit einem Referenzbild abglich, durchlief das Netz den Vorhersageprozess so lange, bis der vorhergesagte Wert dem Referenzbild entsprach.
Durch diesen Trainingsprozess lernte das KI-System, reinen Infrarotlichtaufnahmen passende Farben aus dem sichtbaren Bereich zuzuordnen und somit die Fähigkeit, IR-Bilder realistisch zu kolorieren. Das UNet GA-Netz erzielte bei einer menschlichen Evaluation bei starkem Zoom bessere Ergebnisse als das herkömmlich überwacht trainierte UNet, das ausgezoomt allerdings besser bewertet wurde.
Einsatz für Nachtsicht und in der Forschung
Das Verfahren eignet sich laut des Forschungsteams etwa für farbige Nachtsicht im privaten und im militärischen Bereich oder für biologische Untersuchungen, bei denen sichtbares Licht unerwünschte Reaktionen hervorruft.
Auch in medizinischen Szenarien könnte das Farbnachtsichtsystem Hilfe leisten, etwa bei Augenoperationen, bei denen die Netzhaut über lange Zeit mit intensivem Licht bestrahlt wird, was schädlich für das Auge sein kann. Der Augenchirurg mit Farbnachtsichtsystem könnte dann in der Dunkelheit operieren, aber den Gegenstand der Operation wie unter sichtbarem Licht betrachten.
Allerdings schränken die Forschenden ein, dass ihr System zwar bei menschlichen Gesichtern gut funktioniere, aber für andere Motive, die Licht anders reflektierten, erst noch trainiert und erprobt werden müsse. Außerdem funktioniert die Videoumwandlung derzeit nur mit drei Bildern pro Sekunde. Das ist für viele Anwendungsszenarien, gerade im medizinischen Kontext, zu langsam.
