Eine Künstliche Intelligenz generiert aus einfachen Strichzeichnungen fotorealistische Gesichter. Die neue Methode ist weitaus effektiver als bisherige Ansätze und macht selbst aus wirrem Gekritzel noch ein glaubhaftes Porträt.
KI-Forscher der City Universität Hongkong und des Instituts für Computertechnologie Beijing stellen eine Künstliche Intelligenz vor, die aus Zeichnungen fotorealistische Gesichter generiert. Solche KI-gestützte Skizze-zu-Foto Software gibt es bereits, doch die neue Variante der chinesischen Forscher ist flexibler.
Bisherige Ansätze nehmen eine Skizze und versuchen, fehlende Texturen und Oberflächeninformationen zwischen die Zeichenstriche zu rechnen. Das führe zu statischen Ergebnissen mit qualitativ vielen Einschränkungen, schreiben die Forscher.
So müssten die Skizzen eine hohe Qualität aufweisen, damit die KI überhaupt erkennbare Gesichter aus ihnen erzeugen kann. Ohne zeichnerische Ausbildung sei das allerdings schwierig. Aber gerade für weniger begabte Maler könnte die KI ja eine Hilfe sein.
Neue Zeichen-KI ist flexibler und liefert bessere Ergebnisse
Die Zeichen-KI der chinesischen Forscher ist flexibler: Sie orientiert sich zwar an den Formen der Skizze, nimmt die Striche aber eher als Inspiration statt als auszufüllende Fläche. Die KI unterscheidet fünf Zonen: linkes Auge, rechtes Auge, Nase, Mund sowie Gesichtsform und Haare.
Zuerst identifiziert die KI diese Merkmale auf der Skizze. Dann generiert sie für jede Zone fotorealistische Varianten und orientiert sich dabei an der Gesichtsform der Zeichnung. Abschließend fügt die KI alle Merkmale zu einem Gesichtsfoto von 512 mal 512 Pixeln zusammen.
https://youtu.be/HSunooUTwKs
Als Trainingsdaten nutzten die Forscher etwa 17.000 Porträts aus dem CelebAMask-HQ Fotodatensatz. Jedem Porträt des Datensatzes ist eine automatisch generierte Skizze zugeordnet.
Im direkten Vergleich mit ähnlichen Zeichen-KIs liegt das neue Modell weit vorne. Auch bei groben Skizzen generiert die Zeichen-KI zur Skizze passende, teils glaubwürdige Gesichter.
Die Forscher wollen in Zukunft ihren Ansatz mit mehr Daten beim KI-Training und weiteren Merkmalen verfeinern. Mögliche Einsatzgebiete sehen sie beim Erstellen von Verbrecherskizzen, im Design oder der Bildung. Es sei außerdem denkbar – wenn auch eine große Herausforderung – die gleiche Technik für Objektskizzen einzusetzen. Unterstützt wurde die Forschung unter anderem von Adobe.
Quelle: Arxiv