Forscher der Universität Amsterdam haben eine solche KI geschaffen. Sie heißt „Synesthetic Variational Autoencoder“ (SynVAE) und erzeugt Melodien aus Bildern. Das Besondere: Ähnlichkeiten in Gemälden spiegeln sich in der KI-Vertonung wider.
___STEADY_PAYWALL___
KI lässt Gemälde erklingen
Inspiriert wurden die Forscher wohl von der Synästhesie, bei der Menschen aufgrund zusätzlicher neuronaler Verbindungen zwischen einzelnen Sinnen etwa Töne oder Zahlen zugleich farbig wahrnehmen.
Um so einen sinnlichen KI-Übersetzer zu schaffen, trainierten die Forscher zwei Netzwerke: Eines verwandelt die Bilder in Vektoren und erstellt zu den Vektoren eine Melodie. Das andere versucht, aus dieser Musik das ursprüngliche Gemälde zu rekonstruieren.
So lernt die KI, Melodien zu schaffen, die auf visuellen Mustern in den Gemälden basieren. Denn ohne diese Muster wäre die Rekonstruktion des Bildes aus der Melodie nicht möglich.
KI soll Kunst über Sinnesgrenzen hinaus erfahrbar machen
In einem Test sollten Freiwillige Rückschlüsse von der Musik auf die Gemälde ziehen. Dazu kategorisierten sie die Musik nach „beängstigend“, „glücklich“ oder „glücklich und friedlich“.
Die Zuschreibungen entsprachen in etwas über 70 Prozent der Fälle der Stimmung des Gemäldes, das der KI als Ausgangsmaterial diente.
Die Forscher hoffen daher, dass KIs wie SynVAE einen intuitiven Zugang zu Kunst über Sinnesgrenzen hinaus ermöglichen, und so einen alternativen Zugang etwa für blinde Menschen schaffen. Die Forscher wollen ihren Ansatz in Zukunft auf weitere Sinnesübertragungen anwenden.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.