Meta bringt Hand- und Körper-Tracking für Instagram
Meta bringt neue Effekte für die AR-Plattform Spark AR: Per Tiefenwahrnehmung nehmen Filter-Kreative Einfluss auf Musik und räumliche Effekte.
Meta erweitert die Augmented-Reality-Technik für Instagram: Ab sofort können Kreative bei der Erstellung neuer Instagram-Filter Hand- und Körpertracking einsetzen, etwa für musikalische Effekte, Gesten oder kleine Tanzeinlagen.
Die dazu nötige Version 136 der Entwicklersoftware Spark AR Studio gibt es seit dem 25. April. Mit ihr profitieren Kreative von neuen Depth-Mapping-Features für die Tiefenerfassung sowie einer besser kontrollierbaren Verdeckung.
___STEADY_PAYWALL___Musikalische Instagram-Filter mit Spark AR
In der Praxis ermöglichen die Filter, dass Instagram-Nutzende vor der Smartphone-Kamera mit der Musik spielen können. Wie ein DJ filtern sie langsam die Höhen aus einem Lied, indem sie vor der Kamera die Hände nach oben oder unten schwingen. Sounds können sie mit Effekten beeinflussen, etwa einem Oszillator für die Tonerzeugung oder einem Vocoder für eine robotische Gesangsstimme.
Die Entwicklung dieser Instagram-Filter über visuelle Modul-Verbindungen erinnert ein wenig an Einsteiger-Musiksoftware wie Bitwig oder Ableton Live. Eine neue Audio-Engine erleichtert dabei die Zusammenstellung klangbasierter Filter.
Auch einige "Asset Patches" sind jetzt verfügbar. Dabei handelt es sich um Programm-Module, in denen sich Interaktionen oder Animationen einbauen lassen. Sie kommen zum Beispiel bei der Abmischung der Lautstärke oder verschiedener Stimmen zum Einsatz (Mixer, Gain und Compressor). Einzelne Gesten, etwa der Finger vor dem Mund, schalten den Sound etwa kurzzeitig stumm.
Die neue Depth-Mapping-Funktion "Camera Depth Texture" erkennt Entfernungen und extrahiert diese Informationen in Form einer Textur. Sie ermöglicht so räumliche Lichteffekte und Post-Processing-Effekte.
Räumliche Effekte per Kamera oder LiDAR
In einigen hochpreisigen Smartphones nutzt Metas AR-Software die für die Tiefenerfassung integrierten LiDAR-Sensoren. Andere Modelle extrahieren die Tiefeninformationen aus dem Bild der Smartphone-Kamra. Diese Algorithmen wurden in erster Linie für bessere Fotos entwickelt, dienen aber auch der optischen Entfernungsmessung.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Das eingangs erwähnte "Occlusion Feature" für die Verdeckung von Objekten ist neuerdings zugänglicher gestaltet. Je nach Blickwinkel verschwinden virtuelle Objekte hinter realen Gegenständen wie Wänden oder Regalen - entweder teilweise oder sogar komplett. So erscheinen digitale Objekte im realen Raum realistischer.
Zwei neue Vorlagen stecken ebenfalls im Update: "Piano Project" und der "Audio Visualizer" vereinfachen Test-Läufe mit neuen Effekten.
Weitere Neuerungen in Version 136 stehen im offiziellen Blog zu Spark AR Dort findet ihr auch Anleitungen, wie ihr eigene Effekte mittels Spark AR Studio erstellen könnt. Die Software gibt es für Windows und Mac. Player-Apps gibt es für iOS, Android, PC, Mac sowie Meta Quest (2).
Vorbereitung auf die Meta Cambria
Meta startete Instagrams AR-Filtersektion im Jahr 2019. Laut Meta nutzen monatlich hunderte Millionen Menschen AR-Effekte im eigenen App-Ökosystem. TikTok bietet mit dem Effect Studio eine vergleichbare AR-Software an, ebenso wie Snap mit dem Lens Studio.
Noch in diesem Jahr könnte sich ein neues Anwendungsszenario für Metas AR-Filter-Datenbank voller Nutzerinhalte ergeben: Wenn mit Project Cambria die erste hochwertige VR-AR-Brille auf den Markt kommt, könnten AR-Filter per Brille deutlich immersiver in die Realität eingebettet werden, als es mit dem Smartphone möglich ist.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
