Im April stellte Google eine KI vor, die aus einem Stimmengewirr heraushören kann, was einzelne Sprecher sagen. Nun zeigen MIT-Forscher, dass das nachträgliche Isolieren von Audioquellen auch auf Musik anwendbar ist: Eine von den Wissenschaftlern entwickelte KI kann in Videos musikalischer Darbietungen einzelne Instrumente ausmachen und klanglich isolieren.
Das künstliche neuronale Netz erkennt in Videos bis zu zwanzig verschiedene Instrumente und kann deren Klang in einer separaten Tonspur rekonstruieren. Trainiert wurde die KI mit 60 Stunden Videoaufnahmen musikalischer Darbietungen.
Das System nutzt zur Analyse wie Googles Stimmen-KI sowohl Audio- als auch Video-Informationen der Aufnahme. Ein künstliches neuronales Netz untersucht das Bild und identifiziert die Tonquelle - in diesem Fall das betreffende Instrument - auf Pixelbasis, während ein zweites Netz den Ton analysiert. Ein drittes Netz weist den identifzierten Pixeln die Klänge des jeweiligen Instruments zu und sorgt so für die künstliche Trennung der beiden Tonquellen.
PREMIUM-INHALT
Dieser Inhalt ist für unsere Abonnenten sichtbar.