Neue Facebook-KI zerlegt Musik in ihre Einzelteile

7.03.2020 Matthias Bastian

Eine neue Facebook-KI kann es Musikern und Produzenten zukünftig erleichtern, Songs nachzuvollziehen.

Der Bass wummert, das Schlagzeug poltert, die Sängerin schmettert, die E-Gitarre schneidet – bei einem Song werden viele Stimmen zu einer. Als Zuhörer denkt man nicht mehr darüber nach, dass sich dieses Gesamtbild aus vielen einzelnen Noten und Klängen zusammensetzt.

Zumindest der normale Zuhörer nicht: Musiker oder Produzenten hingegen können sehr wohl ein Interesse daran haben, jedes Instrument einzeln zu hören und zu analysieren, beispielsweise um einen bestimmten Rhythmus zu identifizieren oder einen Song Note für Note nachzuspielen.

Song-Analyse mit KI-Unterstützung

Sofern man Zugriff auf die Studiomischung hat, ist diese Nachvollziehbarkeit kein Problem: Denn im Studio wird ohnehin jede Spur einzeln aufgezeichnet und am Ende zu einem Gesamtwerk abgemischt. Aber wann hat man diesen Zugriff schon?

Facebooks KI-Forscher Alexandre Defossez entwickelt daher die KI-Software „Demucs“, die die einzelnen Tracks eines Songs automatisch heraushören und voneinander trennen kann. Der folgende Audio-Track spielt nur das Schlagzeug aus diesem Song ab.

Hier könnt ihr den Bass und die Stimme anhören, die ebenfalls mit Demucs aus dem Song separiert wurden.

Interessant ist, dass die KI diese Herausforderung – obwohl es sich um Audio handelt – visuell annimmt: Sie untersucht die Wellenform der Klänge auf komplexe Muster und entwickelt so ein Verständnis dafür, welches Muster zu welchem Instrument gehört.

Vom Song zum Erdbeben

Laut Defossez kann das Analyseverfahren auch für andere Zwecke genutzt werden, beispielsweise damit KI-Assistenten einzelne Stimmen in einer lauten Umgebung heraushören können. Eine ähnliche Forschungsarbeit stellten KI-Forscher von Google im April 2018 vor.

Mit dem Verfahren hinter Demucs könnten laut Defossez auch die Wellenmuster von Seismographen analysiert werden, um Erdbeben genauer zu untersuchen. Ziel seiner Forschung sei es, dass KI Audio ebenso zuverlässig zu analysieren lernt, wie sie Objekte auf Fotos identifizieren kann.

Wer sich für Defossez genaues Vorgehen beim KI-Training interessiert, findet hier seine wissenschaftliche Veröffentlichung. Bis auf weiteres bleibt Demucs Forschungsarbeit und ist kostenlos bei Github verfügbar.

Quelle & Titelbild: Facebook

Weiterlesen über KI und Audio:

• Cyber-Angreifer stehlen mit KI-gefälschter CEO-Stimme Millionen US-Dollar
• Deepfake Audio: Mit dieser App lasst ihr jeden alles sagen
• KI komponiert Melodien zu Songtexten

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.