Forscher stellen eine Künstliche Intelligenz vor, die aus Gemälden Musik macht.
Künstliche Intelligenz inspiriert Künstler: Zum Beispiel schreibt sie Gedichte, schreddert Metal und verpasst Songtexten passende Melodien. Doch wie wäre es mit einer KI, die Gemälde in Musik verwandelt?
Forscher der Universität Amsterdam haben eine solche KI geschaffen. Sie heißt “Synesthetic Variational Autoencoder” (SynVAE) und erzeugt Melodien aus Bildern. Das Besondere: Ähnlichkeiten in Gemälden spiegeln sich in der KI-Vertonung wider.
KI lässt Gemälde erklingen
Inspiriert wurden die Forscher wohl von der Synästhesie, bei der Menschen aufgrund zusätzlicher neuronaler Verbindungen zwischen einzelnen Sinnen etwa Töne oder Zahlen zugleich farbig wahrnehmen.
Um so einen sinnlichen KI-Übersetzer zu schaffen, trainierten die Forscher zwei Netzwerke: Eines verwandelt die Bilder in Vektoren und erstellt zu den Vektoren eine Melodie. Das andere versucht, aus dieser Musik das ursprüngliche Gemälde zu rekonstruieren.
So lernt die KI, Melodien zu schaffen, die auf visuellen Mustern in den Gemälden basieren. Denn ohne diese Muster wäre die Rekonstruktion des Bildes aus der Melodie nicht möglich.
Login mit Steady