Synästhesie & Kunst für Blinde: KI macht Musik aus Gemälden

21.09.2019 Maximilian Schreiner

Forscher stellen eine Künstliche Intelligenz vor, die aus Gemälden Musik macht.

Künstliche Intelligenz inspiriert Künstler: Zum Beispiel schreibt sie Gedichte, schreddert Metal und verpasst Songtexten passende Melodien. Doch wie wäre es mit einer KI, die Gemälde in Musik verwandelt?

Forscher der Universität Amsterdam haben eine solche KI geschaffen. Sie heißt „Synesthetic Variational Autoencoder“ (SynVAE) und erzeugt Melodien aus Bildern. Das Besondere: Ähnlichkeiten in Gemälden spiegeln sich in der KI-Vertonung wider.

KI lässt Gemälde erklingen

Inspiriert wurden die Forscher wohl von der Synästhesie, bei der Menschen aufgrund zusätzlicher neuronaler Verbindungen zwischen einzelnen Sinnen etwa Töne oder Zahlen zugleich farbig wahrnehmen.

Um so einen sinnlichen KI-Übersetzer zu schaffen, trainierten die Forscher zwei Netzwerke: Eines verwandelt die Bilder in Vektoren und erstellt zu den Vektoren eine Melodie. Das andere versucht, aus dieser Musik das ursprüngliche Gemälde zu rekonstruieren.

So lernt die KI, Melodien zu schaffen, die auf visuellen Mustern in den Gemälden basieren. Denn ohne diese Muster wäre die Rekonstruktion des Bildes aus der Melodie nicht möglich.

KI soll Kunst über Sinnesgrenzen hinaus erfahrbar machen

In einem Test sollten Freiwillige Rückschlüsse von der Musik auf die Gemälde ziehen. Dazu kategorisierten sie die Musik nach „beängstigend“, „glücklich“ oder „glücklich und friedlich“.

Die Zuschreibungen entsprachen in etwas über 70 Prozent der Fälle der Stimmung des Gemäldes, das der KI als Ausgangsmaterial diente.

Die Forscher hoffen daher, dass KIs wie SynVAE einen intuitiven Zugang zu Kunst über Sinnesgrenzen hinaus ermöglichen, und so einen alternativen Zugang etwa für blinde Menschen schaffen. Die Forscher wollen ihren Ansatz in Zukunft auf weitere Sinnesübertragungen anwenden.

Ob KI überhaupt Kunst erschaffen kann, darüber diskutieren wir ausführlich in unserem Podcast #116: KI-Gekrakel und Oculus Rift S.

Quelle: Arxiv.org; Titelbild: Kyle Wiggers (Screenshot bei YouTube)

Weiterlesen über KI und Kunst:

• Christie’s verkauft KI-Kunst für 432.000 US-Dollar
• Künstliche Menschen: Models aus der GAN-Kiste
• KI-Trick: Kamera-App entfernt Menschen aus Bildern

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.