Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Das KI-Modell NeuralReshaper macht auf Fotos schwere Menschen leicht, große klein oder zierliche breit. Drei Schieberegler führen zum Wunschkörper.

Die Arbeit "Single-image Human-body Reshaping with Deep Neural Networks" stammt von Forschern und Forscherinnen der Zhejiang University in Hangzhou und der School of Creative Media an der City University of Hong Kong.

In ihrer Arbeit beschreiben sie den "NeuralReshaper", ein mit Deep Learning trainiertes KI-Modell, das die Proportionen von Personen in Bildern unabhängig vom Hintergrund vollständig automatisiert transformieren kann. Die Forschenden verwenden dabei unter anderem die von Deepfakes bekannte GAN-Technologie.

NeuralReshaper: KI-Werkzeug gestaltet menschliche Körper um

Zunächst generiert ein SMPL-Modell (Skinned Multi-Person Linear Model) anhand eines 2D-Fotos eine 3D-Schätzung des gesamten Körpers einer Person auf einem Foto. Das SMPL-Modell ist mit tausenden 3D-Scans von Menschen trainiert. Das Max-Planck-Institut für Intelligente Systeme entwickelte es 2015 gemeinsam mit dem Spezialeffekte-Unternehmen Industrial Light and Magic in erster Linie für effizientere Filmeffekte.

Anzeige
Anzeige

Das SMPL-Modell verändert im nächsten Schritt das aus dem 2D-Foto generierte 3D-Modell in den drei Attributen Größe, Gewicht und Körperproportionen und nimmt die entsprechenden visuellen Umformungen vor. Eine Person kann diesen Umformungsprozess über einfache Schieberegler steuern.

Im zweiten Schritt greift dann das "Neural Reshaping". Hier werden Vorder- und Hintergrund getrennt und unter anderem ein GA-Netz generiert auf Basis einer bei Schritt 1 entstandenen Schablone ein neues 2D-Bild der Person und fügt es ohne Verzerrungen oder Überlappungen in den Hintergrund ein.

Zunächst erzeugen die Forschenden aus einem 2D-Bild ein 3D-Modell, dessen Proportionen modelliert werden können. Dieses veränderte 3D-Modell wird dann als eine Art Schablone auf das ursprüngliche Personenbild gelegt, das entsprechend angepasst und wieder glaubhaft in den Originalhintergrund eingefügt wird. | Bild: Zhejiang University in Hangzhou / School of Creative Media an der City University of Hong Kong

Die Methode funktioniert für vollständig bekleidete Menschen ebenso wie für wenig bekleidete. Sogar visuell komplexe Szenen, wie eine Person auf einem Fahrrad, sollen durch Neural Reshaping leicht veränderbar sein. Die Forschenden zeigen in ihrem Papier viele Beispielbilder, die beweisen sollen, dass ihre Methode robust mit vielen unterschiedlichen und komplexen Motiven funktioniert - also alltagstauglich ist.

Das linke Bild ist das Ausgangsbild, das rechte ist das KI-veränderte Motiv entlang der Schiebereglereinstellung unten rechts. | Bild: Zhejiang University in Hangzhou / School of Creative Media an der City University of Hong Kong

Eine Innovation der Forschenden ist die Trainingsmethode für die generative Bild-KI. Sie würde im Idealfall mit Vorher-Nachher-Bilderpaaren derselben Person trainiert.

Da solche Daten kaum oder gar nicht existieren, entwickelten die Forschenden eine schwach überwachte Trainingsstrategie, bei der das deformierte Originalbild als Eingabe dient: Das neuronale Netz muss beim KI-Training versuchen, aus dem deformierten Eingangsbild das Originalbild zu rekonstruieren. So lernt es den visuellen Unterschied zwischen etwa groß und klein in Bezug auf eine einzelne Person.

Empfehlung

Neuer Körper per Schieberegler

"NeuralReshaper ist die erste Deep-Learning basierte Methode für realistische menschliche Umformung in einzelnen Bilder. Unser Tool ist einfach zu bedienen, vollautomatisch und funktioniert gut für Bilder, die in freier Umgebung aufgenommen wurden. [...] Unsere Methode ermöglicht es den Benutzern, menschliche Bilder durch das Bewegen mehrerer Schieberegler mit sofortiger Rückmeldung umzugestalten", schreiben die Forschenden.

Der NeuralReshaper kann auf beliebige Internetbilder angewandt werden. | Bild: Zhejiang University in Hangzhou / School of Creative Media an der City University of Hong Kong

Der NeuralReshaper ist zunächst ein weiteres Werkzeug für KI-Grafik, das zeigt, wie tiefgreifend Künstliche Intelligenz insbesondere die Grafikbranche verändern wird. Die Umformung von Körpern ist lange Standard, etwa in der Modeindustrie. Doch mit Werkzeugen wie NeuralReshaper wird der Prozess so leicht und schnell, dass ihn jeder und jede beherrscht.

Diese Zugänglichkeit birgt Chancen, etwa bei therapeutischen Ansätzen, und Risiken, wenn solche Schieberegler bei Instagram, TikTok und Co. auftauchen. Oder, das ist viel wahrscheinlicher, die mit solchen Schiebereglern veränderten Bilder finden ihren Weg auf entsprechende Plattformen - und zwar in großer Anzahl statt nur bei ausgewählten Accounts mit Photoshop-Unterstützung.

Die daraus resultierende zunehmende Realitätsverzerrung dürfte die Debatte um die Auswirkungen von Social Media auf die Psyche vorwiegend junger Menschen weiter verschärfen.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!