Dieser AR-Pianist spielt Konzerte an eurem Klavier
Auf Twitter macht ein beeindruckendes Video die Runde: Ein Mann läuft durch ein Klaviergeschäft und hält sein Smartphone vor verschiedene Pianos. Wie von Zauberhand erscheint an jedem der Klaviere ein virtueller Pianist, der gekonnt in die Tasten haut. Seine Finger fügen sich dabei perfekt in das Instrument.
Mehr als 250.000 Mal wurde das Video bislang aufgerufen. Erstellt und hochgeladen wurde es vom 3D-Künstler und Softwareunternehmer Fayez Salka.
Our latest app, AR Pianist, uses machine learning to superimpose a virtual pianist on your piano. It works with any piano and features a library of songs performed by award winning pianists. #ar #arkit #ai #ios #vr #coreml #app #piano #apple #music #education #augementedreality pic.twitter.com/a7W7KYvoiP
___STEADY_PAYWALL___— Fayez Salka (@fayezsalka) December 2, 2019
Ermöglicht wird die fast perfekte Illusion durch Augmented Reality und Künstliche Intelligenz. Für die AR-Projektion setzte Salka auf Apples ARKit, für die Ausrichtung des digitalen Pianisten am physischen Klavier wurde maschinelles Lernen eingesetzt.
Eine vorab trainierte KI ermittelt die exakte räumliche Position und Ausrichtung des Klaviers bis auf einen Zentimeter genau. Ein einzelnes Bild des Klaviers soll reichen, 3D-Kameras werden nicht benötigt.
„Das Coole an unserem KI-Modell ist, dass es mit jedem Klavier und jeder Marke und unter allen Lichtbedingungen funktioniert, ohne dass man Marker oder einen 3D-Scan des Klaviers benötigt“, sagt Salka gegenüber VRScout.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Klavierspielen lernen mit Augmented Reality
Salka erwartet einen Softlaunch der AR-App in den nächsten zwei Wochen. Später soll sie dann offiziell im App Store erscheinen und Klavierspielern beim Üben helfen.
Mit der App soll man einzelne Stücke sowie die Animationen der Hände bis um den Faktor 100 verlangsamen können. „Natürlich funktioniert das auch mit einer AR-Brille“, fügt Salka hinzu. Zum Repertoire des digitalen Klaviervirtuosen gehört eine Sammlung von Stücken preisgekrönter Pianisten.
Die fertige App soll außerdem beim Klavierspielen zuhören und ebenfalls mittels maschinellem Lernen sofortiges Feedback geben können. So wird der digitale Virtuose zum Klavierlehrer.
Salka ist Mitgründer des Startups Massive Technologies, das bereits mit großem Erfolg die AR-fähige Lernapp Piano 3D im App Store veröffentlichte. Die Anwendung wurde bislang mehr als sieben Millionen Mal heruntergeladen und von Apple mehrfach beworben.
Titelbild: Massive Technologies, Quelle: VRScout
Weiterlesen über AR und Musik:
- Spotify für Magic Leap 1: Was taugt das AR-Musikstreaming?
- Magic Leap zeigt neues Augmented-Reality-Video
- Augmented Reality: Die Fantastischen Vier veröffentlichen AR-Musikvideo
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
