Auf Twitter macht ein beeindruckendes Video die Runde: Ein Mann läuft durch ein Klaviergeschäft und hält sein Smartphone vor verschiedene Pianos. Wie von Zauberhand erscheint an jedem der Klaviere ein virtueller Pianist, der gekonnt in die Tasten haut. Seine Finger fügen sich dabei perfekt in das Instrument.

Mehr als 250.000 Mal wurde das Video bislang aufgerufen. Erstellt und hochgeladen wurde es vom 3D-Künstler und Softwareunternehmer Fayez Salka.

Ermöglicht wird die fast perfekte Illusion durch Augmented Reality und Künstliche Intelligenz. Für die AR-Projektion setzte Salka auf Apples ARKit, für die Ausrichtung des digitalen Pianisten am physischen Klavier wurde maschinelles Lernen eingesetzt.

Eine vorab trainierte KI ermittelt die exakte räumliche Position und Ausrichtung des Klaviers bis auf einen Zentimeter genau. Ein einzelnes Bild des Klaviers soll reichen, 3D-Kameras werden nicht benötigt.

“Das Coole an unserem KI-Modell ist, dass es mit jedem Klavier und jeder Marke und unter allen Lichtbedingungen funktioniert, ohne dass man Marker oder einen 3D-Scan des Klaviers benötigt”, sagt Salka gegenüber VRScout.

Klavierspielen lernen mit Augmented Reality

Salka erwartet einen Softlaunch der AR-App in den nächsten zwei Wochen. Später soll sie dann offiziell im App Store erscheinen und Klavierspielern beim Üben helfen.

Mit der App soll man einzelne Stücke sowie die Animationen der Hände bis um den Faktor 100 verlangsamen können. “Natürlich funktioniert das auch mit einer AR-Brille”, fügt Salka hinzu. Zum Repertoire des digitalen Klaviervirtuosen gehört eine Sammlung von Stücken preisgekrönter Pianisten.

Die fertige App soll außerdem beim Klavierspielen zuhören und ebenfalls mittels maschinellem Lernen sofortiges Feedback geben können. So wird der digitale Virtuose zum Klavierlehrer.

Salka ist Mitgründer des Startups Massive Technologies, das bereits mit großem Erfolg die AR-fähige Lernapp Piano 3D im App Store veröffentlichte. Die Anwendung wurde bislang mehr als sieben Millionen Mal heruntergeladen und von Apple mehrfach beworben.

Titelbild: Massive Technologies, Quelle: VRScout

Weiterlesen über AR und Musik:

steady2

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Half-Life: Alyx ohne Spoiler | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.