Neue Bild-KI macht unscharfe Fotos hochauflösend – mit einem Haken
Der Haken von GFP-GAN: Die hochauflösenden Bilder sind ein wenig unheimlich.
GFP-GAN restauriert gering aufgelöste Fotos: Die Bild-KI erkennt auf ihnen ein Gesicht, zoomt auf dieses ein und erzeugt dann ein hochauflösendes Porträtfoto, indem es im Gesicht neue Details ergänzt und den Hintergrund unscharf rendert.
Das GA-Netz, die gleiche Technologie wie etwa bei Deepfakes, erzeugt also basierend auf einer Vorlage ein neues Bild, ergänzt um neue Bildinformationen, die sie aus dem KI-Training zieht. Diese neuen Bildinformationen sind der Haken.
Mein alternatives Ich
Denn trainiert wurde GFP-GAN mit 70000 Porträtaufnahmen aus Nvidias FFHQ Datensatz. Die Aufnahmen stammen von der Fotowebseite Flickr und wurden dort zur freien Verfügung hochgeladen. Bedeutet: In dem von der KI-generierten hochauflösenden Porträtfoto stecken die Gesichter vieler Menschen, und mögen es nur einzelne Pixel sein.
Ein circa 14 Jahre altes unscharfes Foto von mir macht die KI beeindruckend scharf. Ich erkenne mich wieder, aber gleichzeitig fallen mir Details auf, die nicht zu mir gehören. | Bild: GFP-GAN / MIXED
Und das fällt auf: Bei Tests mit unscharfen Aufnahmen von mir selbst oder mir bekannten Personen, erkenne ich die Gesichter zwar auch im hochauflösenden KI-Porträt wieder. Gleichzeitig nehme ich aber auf den ersten Blick wahr, dass etwas „nicht ganz passt“.
Dieses „Uncanny Valley“ dürfte zum einen an der Künstlichkeit der Bilder liegen: Sie sehen deutlich digital nachbearbeitet aus. Zum anderen wird es durch kleinste Abweichungen in der Gesichtsgeometrie oder der Mimik erzeugt.
Eher ein Kunstprojekt also ein KI-Fotorestaurator
Diese Abweichungen fallen mir, wie beschrieben, stark bei Menschen auf, die ich kenne. Hier habe ich das Gefühl, in eine Parallelwelt zu blicken. Bei den Beispielfotos der chinesischen Forschenden von Tencenet ARC Lab stören sie mich nicht, weil mir die Menschen auf den Fotos ohnehin fremd sind.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Die Forschenden sind überzeugt von ihrer neu entwickelten Modellarchitektur, die im Vergleich zu ähnlichen Modellen deutlich bessere Ergebnisse bieten soll: „Ausführliche Experimente zeigen, dass unsere Methode sowohl bei synthetischen als auch bei realen Datensätzen eine bessere Leistung als der Stand der Technik erzielt“, schreiben sie in ihrer Arbeit.
Beispielrestaurationen der Forschenden im Vergleich zu anderen KI-Modellen. | Bild: Tencent ARC
Der KI-Upscaler für Porträtaufnahmen könnte in seiner aktuellen Form also für Kunstprojekte oder vielleicht historische Ausstellungen taugen, auch wenn bei letztgenannten wahrscheinlich ein möglichst hoher Realitätsbezug wünschenswert ist, ein Anspruch, den die KI-Interpretation nicht erfüllen kann.
Eine Demo von GFP-Gan könnt hier hinter dem Link testen.
Womöglich gibt es bei zukünftigen Versionen dieser KI-Technik die Möglichkeit, das neuronale Netz mit Nachtraining spezifisch für einzelne Gesichter zu optimieren. Das würde aber voraussetzen, dass man neben einigen unscharfen Fotos einer Person bereits hochauflösende Aufnahmen besitzt, damit die KI die Geometrie des Gesichts lernen kann. Eine zusätzliche Herausforderung ist der Wandel eines Gesichts über die Jahre.
Gefährlich könnten solche KI-Aufbesserungen werden, wenn sie im Kontext der Überwachung eingesetzt werden, etwa um unscharfe Aufnahmen von Überwachungskameras zu schärfen und sie dann durch eine Bilderkennungsdatenbank wie Clearview AI zu jagen. Hier könnten minimale Ungenauigkeiten dazu führen, dass die falschen Personen gefunden werden. Clearview AI kündigte kürzlich an, dass die eigene Bilddatenbank zukünftig mit KI-Werkzeugen optimiert werden soll, etwa um Unschärfen zu entfernen oder um unvollständige Bilder zu ergänzen.
Weiterlesen über KI und Bildbearbeitung:
- Neue Bild-KI zeigt das Potenzial riesiger KI-Modelle
- Facebooks neue Bild-KI ist ein echter Augenöffner
- Neue Microsoft-KI restauriert alte Fotos
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
